Hubert's Channel

往年今日

用 Gitea 有一年多了，经常遭遇爬虫的轰炸，服务器经常占用一跳一跳的，会看日志后，发现爬虫在我 Gitea 上爬来爬去但吃力不讨好，因为虽然爬了一堆页面，但作用聊胜于无，具体爬了哪些东西呢？ 除开最有价值的仓库代码，大部分爬虫还会去爬一些没太多价值的页面，例如： 1. 单个文件的全部历史记录，按 commit 来，有多少个 commit，就爬多少次，例如仓库里有 50 个文件，50 个 commit 记录，那我的服务器就得吃 50*50，2500 次请求 2. 在合并请求预览器里用一个 commit 去对比另一个 commit，有 50 个记录，相互对比也是 2500 次，如果有分支则更多 3. 在空空如也的 issues 和 PR 页面里把每个过滤条件组合都试一次 这些东西都是没有什么价值的页面，费力爬取即浪费爬虫资源也浪费我服务器资源，也不知道是 Gitea 的 SEO 导致的问题还是爬虫就喜欢这么爬 但我不喜欢这样，于是我试着寻找解决办法，一开始我尝试封禁那些爬虫，效果是有了，但这就意味着完全抛弃 SEO，不如直接不公开... 折腾了几个月后，我找到了折中的办法，即按照爬虫 UA 来，爬虫访问上方那几类无用页面时，直接 block 请求，其他的数据还能正常爬取，不那么影响 SEO 的同时还能大量减轻服务器负担 至于 robot.txt 嘛，我可遇到过被 UA 封禁的爬虫第二天换了个 UA 继续爬的情况，那就更不能指望它会遵守 robot.txt 了 规则就放出来了，需要使用到 Cloudflare 的 WAF，如果用的是其他家 CDN 或者防火墙，就得靠你自己修改了 https://gitea.trle5.xyz/trle5/cf_rule/src/branch/main/waf

赤い電子音楽は極地に大きな影響を与えます。7 月 14 日と 15 日、勇気を持って触ってみる限り、天地が完全放電。TRANCE エレクトロニックミュージックの猛攻がインターネットの神秘的な領域を爆発させる、長年のブレイクダンスの人気と相まって、あなたをダンスの海の極地へと押し上げます。麻酔なしでも、あなたはまだハイになり、制御不能に飛ぶことができます...

往年今日 至于为什么提前一个小时，因为按照卡普空所在的时区，会比 UTC+8 早一个小时

我的世界十五周年纪念披风现可领取！ https://www.minecraft.net/zh-hans/article/the-15th-anniversary-cape

Grand Theft Auto VI Trailer 1 https://www.youtube.com/watch?v=QdBZY2fkU-0

来自 OpenAI DALL·E 3 的节日祝福！

GoDaddy 上的 .lol 域名，现价 $1.8 购买十年，支持 PayPal、信用卡和支付宝 下单地址： http://sg.godaddy.com/zh 消息来源： https://hostloc.com/thread-1216824-2-1.html

签署我们的请愿书，阻止法国强迫 Mozilla 的 Firefox 等浏览器审查网站

Story功能已向普通用户下放 如何使用？更新TG客户端至最新版 然后在主页点击右上角的加号即可发布 有何特性？Story具有多端同时消失的特性 即 当你发布一个Story后 任何人转发的Story都会因为你的删除而消失 现在使用Story门槛降低 也就意味着各种白嫖分享频道主可以防止自己的内容被非频道用户查看 以及设置不给tg的某用户查看 DEMO https://t.me/TCSiX/s/1

Story功能已向普通用户下放 如何使用？更新TG客户端至最新版 然后在主页点击右上角的加号即可发布 有何特性？Story具有多端同时消失的特性 即 当你发布一个Story后 任何人转发的Story都会因为你的删除而消失 现在使用Story门槛降低 也就意味着各种白嫖分享频道主可以防止自己的内容被非频道用户查看 以及设置不给tg的某用户查看 DEMOhttps://t.me/TCSiX/s/1