2026 年 10 月 31 日
OpenAI、Google、Microsoft 和 Anthropic 于周五共同宣布，将联合推出一种标准化机制，允许新闻出版商及其他网站通过单一指令阻止其内容被用于训练人工智能（AI）模型。这一举措旨在回应媒体行业日益增多的批评及相关法律纠纷。
此前，出版商若想防止特定 AI 机器人抓取数据，必须针对每一个收集数据的爬虫执行独立的屏蔽命令。新方案实施后，出版商只需输入一条标准指令即可实现全面防护。不过，该解决方案预计需数月时间才能完全生效。
各科技巨头已公布具体的部署时间表：Microsoft 计划于 2027 年 2 月开始实施；OpenAI 表示将在“未来几个月内”推出相关功能；而 Claude 的开发商 Anthropic 则称已经“开始”推进这一进程。
随着 AI 模型训练对数据需求的激增，出版商面临的文章被大规模抓取现象愈发严重。部分媒体机构已采取法律行动，例如《纽约时报》在 2023 年 12 月起诉 OpenAI 和 Microsoft，指控其在未经授权且未支付费用的情况下，使用数百万篇文章训练 ChatGPT。对此，两家科技公司援引版权法中的“公平使用”原则进行辩护。
与此同时，互联网基础设施提供商 Cloudflare 自 2025 年 7 月起，默认在新客户网站上阻止 AI 机器人的访问。此外，一项名为“真正简单的许可”的标准也已上线，允许出版商向访问其页面的机器人收取费用。
根据 Microsoft 发布的博客声明，新的屏蔽设置仅适用于未来的模型训练阶段，并不会完全阻止机器人爬行行为。除非发布者主动更改设置，否则内容抓取将被默认允许。
Microsoft 和 Google 在各自的博客文章中同时指出，选择不接受 AI 训练可能会降低出版商的内容在各类 AI 应用和体验中出现的概率。
Meta 发言人 Andy Stone 在社交平台 X 上表达了对这一努力的支持：“我们认为创建一个能够同时向多个供应商传达这些偏好的通用信号是重要的一步。我们期待与其他人工智能公司合作制定标准并将其在整个行业实施。”
