OpenAI、Google、Microsoft 和 Anthropic 已达成共识，支持一种新的网站保护机制，允许网站所有者阻止其内容被用于训练 AI 模型。这些公司将在网站的 robots.txt 文件中识别并尊重统一的退出信号。
互联网被视为现代的知识库，承载着人类历史与信息的记录。然而，随着人工智能技术的发展，各大 AI 公司通过扫描网络数据来训练和提升模型能力。这种大规模的数据抓取行为引发了部分用户和网站主对隐私及内容版权的担忧，促使业界开发出多种防御手段。
尽管没有任何单一方法能完全杜绝恶意机器人的访问，但通过组合使用以下策略，可以有效限制合规 AI 爬虫的行为，同时降低服务器负载。
1. 配置 Robots.txt 文件
Robots.txt 是位于网站根目录下的文本文件，旨在向搜索引擎爬虫和机器人提供行为指南。该文件不仅有助于优化服务器资源分配，防止因高频请求导致的过载，还能明确指示哪些区域禁止访问。
OpenAI 率先采用此标准，并呼吁其他 AI 供应商遵循这一信号。需要注意的是，该方法仅对遵守协议的爬虫有效。
具体操作步骤如下：
- 使用文本编辑器打开或创建 robots.txt 文件。
- 添加注释标题以区分规则，例如 # AI Crawler。
- 若要阻止所有 AI 爬虫访问全站，添加指令：Disallow: /。
- 若要针对特定爬虫（如 ChatGPT）进行屏蔽，需指定 User-agent（例如：User-agent: ChatGPT-User），并在下一行添加 Disallow: /。
- 可通过在 Disallow 后附加具体路径，限制爬虫访问特定页面（如作者主页）。
- 将更新后的 robots.txt 文件上传至网站服务器根目录。
2. 实施强制登录验证
借鉴 Reddit 的做法，网站可要求用户必须注册账户并通过邮箱或手机号验证后才能浏览内容。此举能有效拦截未授权的非交互式流量。
然而，这种方法存在显著弊端。它增加了用户获取信息的门槛，可能导致潜在访客因不愿提供个人信息而直接离开网站（即“跳出率”增加）。若网站高度依赖公开流量，需谨慎评估此策略对用户体验的影响。
3. 限制 IP 地址访问频率
AI 机器人常利用单一 IP 地址发起高频请求。网站管理员可通过第三方服务设置速率限制，例如规定单个 IP 在 10 秒内最多发送 5 个请求，从而防止服务器遭受流量轰炸。
尽管此方法成本可控且能缓解服务器压力，但其局限性在于部分高级网络抓取工具会使用 IP 轮换技术，频繁切换来源地址以规避基于 IP 的封锁机制。
4. 部署验证码挑战
验证码（CAPTCHA）是一种传统的人类身份验证手段，要求用户完成图像识别或逻辑测试。虽然它能阻挡简单的网络抓取器和低算力 AI 机器人，但随着技术进步，部分先进 AI 模型已具备自动破解验证码的能力。
此外，频繁的验证流程可能引起用户反感，导致体验下降甚至流失。因此，这是一种双刃剑策略，需在安全防护与用户便利性之间寻求平衡。
