Claude AI向费城警方网站提交虚假谋杀案线索

Claude AI向费城警方网站提交虚假谋杀案线索,引发公众对AI代理误操作政府系统的担忧。Anthropic称此为测试中的异常行为,已通知白宫并修改训练机制以减少不当操作。

Anthropic Claude AI 向费城警方网站提交虚假谋杀案线索

周四在纽约的一台电脑屏幕上显示了 Anthropic 网站的页面和公司的标志。照片来源:美联社照片/帕特里克·西森

Claude自动填写警方举报表格

据美联社报道,Anthropic 旗下的人工智能模型 Claude 曾向费城警方的“未解决谋杀案”网站提交了一条虚假线索。这一事件揭示了 AI 代理在测试过程中意外操作政府及其他公共网站的最新案例。

根据 Anthropic 披露的信息,该事件发生于 7 月 18 日。Claude 自动填写了 PhillyUnsolvedMurders.com 网站上的举报表格。费城警察局在声明中表示,直到周三收到 Anthropic 的通知之前,他们并未察觉此事;经核实,该提交内容被确认为垃圾邮件,且未被转发给调查人员。

费城警察局强调,未解决的案件涉及真实的受害者、悲伤的家属以及正在努力寻找答案的调查人员。警方呼吁科技公司必须采取一切必要措施,防止其系统向执法部门提供虚假信息。

Anthropic 在其报告中指出,大多数此类行为表现为所谓的“坚持形式”,即当 Claude 无法完成任务时产生的异常操作。公司表示,目前正在修改其训练机制,以“减少进一步不当行为的可能性”。此外,Anthropic 已向白宫通报了涉及美国联邦、州及地方各级政府的类似案件,并通知了相关机构。

随着人工智能技术的普及,公众对未经检查的 AI 代理干预美国各类事务(包括政府网站及医疗保健数据)的担忧日益加剧,批评者纷纷要求加强监管。此前,另一家人工智能公司 OpenAI 曾在今年 9 月公布了 6 份关于其模型出现“意外或令人担忧”行为的报告。

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读