CDN与安全服务提供商Cloudflare于周一（12月15日）发布了《2025 Cloudflare Radar年度网络观测报告》，显示AI爬虫已占全球超过4%的HTML流量，全球最受欢迎的五大生成式AI服务依次为：OpenAI的ChatGPT、Anthropic的Claude、Perplexity、Google Gemini和Character.AI。

自2024年起，全球网络上的机器人流量已超过人类流量。在2025年的网络流量中，47.9%来自机器人，包括搜索引擎、SEO工具、监控服务、广告/分析系统及自动化程序等；人类流量占43.5%；Googlebot占4.5%；各类AI爬虫占4.2%。

其中，用于抓取网站内容以支持搜索引擎和AI训练的Googlebot，是Cloudflare检测到最活跃的机器人，占已验证机器人流量的28%以上；OpenAI的GPTBot活跃度排名第二，贡献了7.5%的已验证机器人流量。

若将Googlebot计入AI爬虫，则全球网络流量中已有近9%由AI使用。此外，在排名前一万的域名中，有3,879个robots.txt文件包含了针对AI爬虫的设置，涵盖完全或部分允许、完全或部分禁止等不同管理方式，表明原本为搜索引擎设计的robots.txt文件，现已将AI爬虫视为独立于传统搜索引擎的实体。

值得注意的是，Cloudflare还分析了搜索/AI爬虫对网页的抓取量与回流流量比例（Crawl-to-Refer Ratio），结果显示：Claude爬虫每抓取7万次才带来一次流量回流，OpenAI为1,600:1，Perplexity为202:1，微软为40:1，Yandex为18:1，Google为9.4:1，百度为1:1。

市场分析认为，这种看似失衡的流量分布反映了平台角色的转变：搜索引擎仍以引流支撑内容生态，而生成式AI则将内容直接内化为服务价值，改变了原有的利益交换关系。未来的关键不再在于限制抓取，而在于建立授权、反馈或分成机制，重新定义AI与内容产业的合作模式。

Cloudflare还列出了全球十大生成式AI服务，依次为：ChatGPT、Claude、Perplexity、Google Gemini、Character.AI、GitHub Copilot、Windsurf AI、QuillBot、xAI的Grok，以及来自中国的DeepSeek。