Cloudflare 上线新设置：允许搜索引擎爬取，同时拒绝 AI 训练

Cloudflare 宣布推出新设置“Disallow AI Training”，允许管理员继续接受搜索引擎爬取，同时拒绝网站内容用于 AI 训练。苹果、谷歌和微软已承诺遵守该设置。

网站管理员启用该设置后，Cloudflare 仍会允许用于搜索、AI 训练的混合爬虫抓取内容，但前提是系统将其标记为“Accountable”（可问责），其他 AI 训练爬虫仍会被拦截。官方表示，拦截这类爬虫有可能影响网站的搜索排名。

Cloudflare 表示，大多数客户无需进行任何更改：此前在 Training 中选择“Block”或“Block on pages with ads”的网站，会自动迁移至“Disallow AI Training”。

此外，谷歌将在未来几周推出 Google-Extended 的 URL 层级透明度工具，苹果也在开发自己的 URL 层级工具，微软则计划于 2027 年初支持通过 robots.txt 拒绝 AI 训练。