《时代》杂志为 AI 爬虫提供特供版页面，内含隐藏广告

开发者 Vincent Schmalbach 的一项测试揭示了《时代》杂志网站的一项特殊设计：该网站针对人类读者和 AI 爬虫提供完全不同的访问版本。当使用常规浏览器访问时，网站返回约 303KB 的标准 HTML 页面；而将 User-Agent 切换为 ClaudeBot 或 PerplexityBot 后，服务器仅返回约 13KB 的 Markdown 格式内容，响应头中的 content-type 明确设为 text/markdown。

这一设计意味着《时代》正在为 AI 系统量身定制易于解析的文本内容，而非让爬虫自行从复杂网页中提取信息。更值得关注的是，这些面向 AI 的 Markdown 页面中嵌入了由广告技术公司 Mobian 提供的定向广告。为了让生成式 AI 更容易读取广告主信息，页面内嵌了问答格式的赞助内容，明确标注为赞助性质，但在人类读者访问的常规页面中完全不会出现。

当用户通过 ChatGPT 或 Perplexity 等 AI 工具搜索《时代》杂志内容时，AI 可能会在回答中无意间"念出"品牌广告，而用户对此毫不知情。

出版商争夺 AI 时代话语权的新打法

这一策略揭示了出版商在 AI 时代变现的全新思路。传统模式下，出版商通过展示广告和订阅获取收入，但 AI 爬虫抓取内容后直接返回摘要，用户不再访问原网页，流量和广告收入随之流失。通过为 AI 爬虫提供特供版页面并嵌入广告，《时代》试图在 AI 搜索结果中保留商业变现能力，将品牌信息直接植入 AI 生成的回答中。

这种做法也引发了关于透明度和伦理边界的讨论。AI 搜索引擎是否应在回答中标注内容来源包含赞助信息，用户是否有权知道 AI 回答中哪些部分受广告影响，目前尚无明确规范。随着越来越多出版商效仿这一模式，AI 搜索生态中的广告透明度问题将成为行业无法回避的议题。《时代》的这一尝试，可能只是出版商与 AI 平台之间博弈的序幕。