Cloudflare 更新爬虫管理规则，将默认阻拦 AI 爬虫抓取广告页面

7 月 1 日，Cloudflare 调整了爬虫管理规则，为各类爬虫打上搜索、AI 代理、模型训练等行为标签。平台把 2026 年 9 月 15 日设为执行节点，届时 AI 代理和训练用途的爬虫会被默认拦截，无法访问带广告的网页。

多数站长希望内容被搜索引擎检索，同时保护知识产权收益，但市面上大量混合型爬虫既做搜索也做 AI 数据采集，一直难以区分管控。平台爬虫管理器会识别爬虫的全部用途，只要其中一类行为被站点禁止，整只混合爬虫就无法抓取该网站内容。

Cloudflare 将上线新版数据看板，以适应网络优化从 SEO、GEO 到 AEO（答案引擎优化）的行业转变，方便站长查看流量来源。

平台还同步推出了页面变动监控功能，过滤掉对无更新页面的重复抓取请求，减轻服务器带宽损耗。同时，平台落地了按使用计费的爬虫付费模式，网站主可以对 AI 抓取内容的行为收取对应费用，用来平衡内容产出与 AI 数据采集之间的权益矛盾。