Dejavu's Blog

ai.robots.txt 是一个 #开源 列表，旨在提供一份已知 #AI 代理和爬虫（Crawlers）的 User-Agents 集合，供网站管理员用于阻止这些 AI 机器人爬取网站内容。该项目提供了多种格式的文件，以便在不同服务器上实施阻止，包括：标准 robots.txt`、Apache 的 .htaccess`、#NGINX 的 `nginx-block-ai-bots.conf`、#Caddyfile 以及 HAProxy 的配置片段。 开源https://github.com/ai-robots-txt/ai.robots.txt 关联阅读 https://blog.cloudflare.com/zh-cn/declaring-your-aindependence-block-ai-bots-scrapers-and-crawlers-with-a-single-click/ via: @dejavuBlog@dejavuGroup