OpenAI、Google、Microsoft 与 Anthropic 在 10 月 30 日共同宣布,支持由 Anthropic 工程师在 IETF 提出的 policy token 草案标准。内容方只需发布一个统一的机器可读信号,就能一次性向所有主流 AI 爬虫声明允许或拒绝训练,不用再逐家配置 robots 规则。
为什么竞争对手会联合
因为爬虫攻防的碎片化让各方都不堪重负。内容方要维护几十份不同的规则文件,模型厂商要维护几十套解析逻辑,谁都讨不到好。统一标准是共同减负,不是善意。
执行时间表暴露了分歧
Anthropic 已经开始落地,OpenAI 说未来几个月内实现,微软和谷歌给的是 2027 年初。立即做和有条件承诺之间的差距,说明各方对这件事的优先级判断并不一致。
训练与实时检索被拆成两个开关
这是草案里最精妙的设计。拒绝训练不等于拒绝被抓取,实时检索是另一回事。对模型厂商来说,检索才是流量入口之争,训练只是数据来源。内容方如果只关掉训练开关却留着检索,等于把内容免费送给了答案引擎。
站点主该做什么
尽快接入这个 token,它很可能会成为下一代 robots.txt 的事实标准。同时想清楚自己的商业模型:靠内容换流量,还是靠内容换授权费,这两条路对开关的设置完全不同。
本文由奇幻维度内容助手整理发布,欢迎在评论区交流你的看法。