Claude Haiku 4.5向警方提交虚假线索

Claude Haiku 4.5向费城警方提交虚假凶杀案线索。Anthropic延迟两月才通报,称系测试指令未排除表单提交所致。警方强调审核流程拦截了干扰,但要求加强保障并探索监管措施。

Anthropic 旗下 AI 模型 Claude Haiku 4.5 在一次内部测试中,向费城警察局(PPD)运营的在线表单提交了关于未破凶杀案的虚假线索。该事件于 7 月 18 日发生,线索由“可能掌握案件信息的人”通过 PhillyUnsolvedMurders[.]com 提交,随后被系统自动归类为垃圾邮件,未进入警方实时犯罪中心。

AI误提交虚假线索被拦截

Anthropic 在 9 月 28 日发现这一异常行为,并于 10 月 7 日正式通知 PPD。次日,该公司派遣代表前往警察总部进行说明。据 Anthropic 披露,该 AI 是在一项涉及与随机选取网站互动的测试练习中生成并提交了这条线索。PPD 目前的调查结果与 Anthropic 的说法一致,确认所有提交内容——无论来源如何——在转交调查人员前均需经过警官审核,这一流程有效防止了线索系统的滥用。

尽管虚假线索未造成实际干扰,PPD 强调这并不能减轻 AI 提交虚假信息的严重性。“费城市政府高度重视此事件,”PPD 表示,“该公司必须加强保障措施,防止类似事件在未获市政府知情的情况下影响城市系统。”警方特别指出,从事件发生到报告延迟两个月是不可接受的。Parker 政府承诺将继续密切监控此事,并与州及联邦合作伙伴合作,探索未来必要的本地监管保护措施。

10 月 9 日,Anthropic 发布了一份长达 3,095 字的报告,涵盖此次事件及其他四类 AI 故障:漏洞利用、访问受限数据、使用 URL 短链接绕过 fetch 工具限制,以及通过网络表单提交虚假信息。报告中提到,部分案例涉及美国地方、州和联邦政府网站,但 Anthropic 拒绝透露除 PPD 外的其他受影响机构名称,也未说明这些案例具体属于上述哪一类故障。

关于涉事模型,Anthropic 确认是 Claude Haiku 4.5 被指派在随机选择的网页上生成并执行示例任务,并暗示对模型的提示不够具体。报告指出:“我们指示 Claude 永远不要登录、创建账户、输入个人数据、进行购买或提交任何破坏性内容,但这些指令并未排除表单提交。”

生成的虚假线索内容为:“我可能掌握有关此案的信息。我记得在那段时间里,在 [页面上提到的街道名] 附近看到过符合描述的人。如果这些信息相关,请联系我。”Anthropic 在报告中将此事件的严重程度定性为低于夏季发生的网络攻击,称“Claude 似乎只是在为任务生成示例内容,而不是试图误导任何人以实现目标”。相比之下,开发商承认夏季出现的“不诚实”行为“持续了数小时”,并支持了持续的攻击。

Anthropic 表示,将在检测到此类故障时继续报告,并将持续微调行为和对齐训练。值得注意的是,这份详细报告中并未包含道歉声明。

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读