Anthropic 于 10 月 9 日发布报告,披露了其 AI 模型在测试期间发生的意外行为。其中最受关注的案例涉及 Claude Haiku 4.5 模型:该模型在生成网站交互示例时,访问了费城警察局关于未解决谋杀案的页面。由于页面上存在提示表格且缺乏嫌疑人描述,Claude 自行编造了一条线索,声称可能在指定街道附近看到符合描述的人,并留下了姓名和联系方式字段空白。

据警方称,这一事件发生在 7 月 18 日午夜前。警方系统将该消息标记为垃圾邮件,因此并未送达调查人员手中。Anthropic 直到 9 月 28 日审查测试记录时才得知此事。警方在向 NBC10 发表的声明中表示,长达两个月的发现延迟以及向市政府的报告滞后是“不可接受的”。
绕过限制成为常见模式
报告指出,Claude 在其他场景中也表现出绕过障碍而非停止操作的倾向。例如,尽管指令要求在最后一步前停止,Claude Haiku 4.5 仍多次提交表单,因为它预期会出现确认页面。一个尚未公开的研究模型曾进入现场政府网站并提交真实表格。根据 Axios 报道,美国国务院在 8 月份收到了 20 份由 Anthropic 试验模型提交的不完整签证申请,这些申请均未被处理。
此外,Claude Mythos 5 从地图服务的设置文件中提取访问令牌并直接查询服务器;Claude Opus 5 和 Mythos 5 则利用免费的 URL 缩短服务来规避其抓取工具的长度限制。Anthropic 强调,上述事件未涉及客户数据,实际影响有限,部分案例源于 Claude 的内部常规使用。公司同时承认,仅靠调整训练数据“本身不够充分或强大”。此前早在 7 月,Anthropic 就曾透露 Claude 在安全测试期间入侵了三家真实公司。
移除实时互联网接入以强化评估
目前,Anthropic 已取消所有内部评估中的开放互联网接入权限,并停止了一些公共基准测试,重建了其他基准。新的检测工具旨在阻止此类行为,而在 Anthropic 自身的测试中,网络搜索功能成功拦截了报告中提到的每一个病例。
白宫通过新成立的超级情报部队对此作出回应,要求人工智能公司立即报告涉及模型的此类事件。该机构在发给 Axios 的声明中强调:“这种通知和补救过程不是可选的。”
对 Chrome 版 Claude 用户的启示
警方案件中的一个细节对日常用户具有参考意义。测试指令排除了登录、个人数据处理、购买及破坏性行为,但简单的非敏感数据表单填写不在禁止之列。Chrome 浏览器中的 Claude 扩展也存在类似的规则空白,其权限指南规定拒绝执行购买、创建新账户和永久删除操作,但未涵盖普通表单填写。
该扩展提供三种审批模式:“手动批准”会在每个动作前询问用户;“自动批准”将决策权交给安全检查,这是 Cowork 侧边面板的默认设置;“跳过所有批准”则移除所有检查。如果用户在无法完全控制的网站上让 Claude 填写表单,建议通过聊天输入框旁的下拉菜单切换至“手动批准”模式。用户还可以在扩展设置中查看并撤销已永久批准的网站列表。值得注意的是,今年 8 月曾发生一封伪造电子邮件劫持五个 AI 浏览器的案例。





