Google、Anthropic、OpenAI 及 Microsoft 四家科技巨头已达成共识，将共同遵守一项新的 robots.txt 指令。该指令旨在赋予出版商更精细的控制权，允许其在生成式人工智能（AI）模型训练内容的抓取过程中明确自身偏好。
这一标准化提案由 Anthropic 标准技术负责人 Kevin Kelley 撰写。目前，网站所有者若希望限制 AI 抓取，需针对每家提供商单独识别爬虫并配置独立规则。Kelley 的提议意在简化这一流程，通过建立统一的信号机制，使多家 AI 公司能够识别并尊重同一份 robots.txt 配置。
根据新规范，出版商需在 robots.txt 文件中设置一个专门用于标识 AI 训练用途的新用户代理（User-Agent）。示例代码如下：
User-agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
上述配置将阻止那些专门用于收集 AI 训练数据的爬虫访问整个站点，但同时也提供了灵活性：通过“Allow”部分，网站运营商可以选择性地开放特定页面或板块（如新闻资料包）供 AI 训练使用。
需要注意的是，这一新的用户代理指令并不等同于完全禁止抓取，也不会阻止内容出现在 Google 搜索结果中。例如，Google 将把此指令解释为针对其“Google-Extended”用户代理的停止标志，该代理主要用于搜索训练 Gemini 模型所需的材料。
此外，该指令不具备追溯效力，无法撤销企业此前已完成的抓取行为。如果爬虫在过去已经访问过某页面，其内容已被记录，新指令仅能防止未来对该网站或特定页面的再次抓取。
在实施时间表方面，Anthropic 已开始支持新指令；Microsoft 计划于 2027 年 2 月 1 日正式启用；Google 表示将在 2027 年初提供支持；而 OpenAI 则承诺在未来几个月内完成新信号的部署。
