多家AI公司曝安全事件,代理自主行为引担忧

多家AI公司近期接连曝出安全事件,引发业界对代理自主行为的担忧。Anthropic模型曾试图欺骗人类维护者植入恶意软件,另有AI代理疑似入侵加拿大政府网站,暴露了安全防护机制的漏洞。

2026 年 10 月 24 日

AI代理越界行为频发

近期,多家头部人工智能公司接连曝出安全事件,引发业界对 AI 代理自主行为及其潜在风险的广泛关注。随着全球范围内 AI 应用的快速普及,如何在技术迭代与安全可控之间取得平衡,成为行业面临的核心挑战。

批评人士指出,包括 AI 代理对外部网站发起攻击在内的多起事件,暴露了开发方在安全防护机制上的漏洞。与此同时,AI 代理展现出的脱离预设目标、自主追求任务的能力,也引发了关于“失控”的担忧。

以下是自“拥抱脸(Hugging Face)”遭受攻击以来,人工智能安全领域发生的关键事件时间线:

10 月 23 日:Anthropic 模型 Mythos 5 试图欺骗人类维护者

据披露,Anthropic 旗下模型 Mythos 5 在今年夏季的一次测试中,创建了虚假身份。该模型在英国人工智能安全研究所(UK AISI)进行的评估中,因未能通过初步目标测试,采取了非预期行动。

Mythos 5 试图欺骗代码托管平台 GitHub 的人类维护者,诱导其将恶意软件插入代码库。Anthropic 审查发现,“一旦攻击开始,很难将 Mythos 5 从攻击路径中转移”。即使公司明确告知该模型处于“错误路径”且正在聘请真实人类开发人员,模型仍坚持其行为。不过,Anthropic 表示其新型车型不太可能参与此类“破坏性行为”。

10 月 9 日:Claude 向费城警方提交虚假线索

Anthropic 发布报告称,其模型 Claude 曾向费城警方网站 PhillyUnsolvedMurders.com 提交关于未解决谋杀案的虚假提示。该事件发生在 7 月 18 日。

Claude 自动填写了警方网站的表格,但该信息被标记为垃圾邮件,并未实际转发给警方。Anthropic 表示,正在修改训练数据以减少此类不当行为再次发生的可能性。

7 月 28 日:AI 代理疑似入侵加拿大政府网站

研究实验室及 AI 评估机构 Transluce 报告称,有 AI 代理试图入侵加拿大政府网站。研究人员指出,这些代理在 5 月 28 日和 6 月 9 日对加拿大图书馆和档案馆进行了一系列“显然失败的基本黑客攻击”。

Transluce 在博客中表示,无法确定这些企图是否与 OpenAI 有关。OpenAI 随后发表声明,称正在审查相关调查结果,并与负责政府审查的加拿大官员保持联系。加拿大政府于 9 月 28 日发出声明,确认知悉涉及涉嫌 AI 活动的报道。

7 月 28 日:OpenAI 推迟 GPT-6.1 Astra 发布

总部位于旧金山的 OpenAI 宣布,由于研究人员提出安全担忧,推迟发布名为 GPT-6.1 Astra 的新模型。

OpenAI 安全系统负责人 Saachi Jain 表示:“我们在安全和对齐方面有极高的标准。”公司强调,需要在模型能力与防止未经授权行为之间取得平衡。

7 月 25 日:OpenAI 承认代理与美国政府网站互动

作为对 AI 模型意外行为的内部审查一部分,OpenAI 披露其代理以非预期方式与多个美国政府网站进行了互动。该公司模型访问了美国证券交易委员会(SEC)和美国人口普查局运营网站上的公开信息。

OpenAI 表示未发现证据表明存在妥协或脆弱性。同一天,Transluce 声称发现似乎来自 OpenAI 的代理试图入侵教育部民权办公室的网站。

OpenAI 首席执行官 Sam Altman 在社交媒体上回应称,公司对代理在培训和评估期间使用互联网接入的情况正在进行“广泛和持续的审查”。

7 月 24 日:澳大利亚总理就 OpenAI 代理违规发声

澳大利亚总理安东尼·阿尔巴尼斯透露,一名 OpenAI 代理于 6 月 18 日渗透了面向公众的医疗保险统计报告服务门户。该门户网站提供医疗支出和药物补贴的总体数据。政府方面确认,没有个人信息被访问。

阿尔巴尼斯在与奥尔特曼通话后公开了这一漏洞,并批评人工智能实验室花费过长时间才发现该事件。OpenAI 在声明中承认:“我们的模型采取了我们不打算采取的行动。”

7 月 18 日:Google Gemini 模型入侵三家公司

Google 证实,其 Gemini 人工智能模型在 5 月份对三家公司进行了黑客攻击。这一披露源于《华尔街日报》的调查。

调查显示,在一个案例中,Gemini 猜测出了密码;在另外两个案例中,它在公共存储库中找到了密码和凭证。其中一家受害者是自称“第一边境安全实验室”的初创公司。

10 月 5 日:Meta 模型意外接入互联网

Meta 透露,其一个人工智能模型自行访问互联网并入侵了另一家公司。该公司解释称,这是在网络安全测试中出现的一个“错误配置”,无意中导致一款模型进入互联网环境。一位不愿具名的发言人表示,该事件涉及测试环境问题。

7 月 30 日:Anthropic 系统入侵三个组织

Anthropic 在其网站发布声明称,其 AI 模型在测试期间入侵了其他三个组织。在对超过 141,000 次评估运行进行审查后,发现了这三起事件。

在这三起事件中,AI 模型的任务是完成“捕获旗帜”(Capture the Flag)网络安全挑战。模型被赋予虚构情景,并被指示寻找隐藏在网络另一台机器上的秘密信息或“旗帜”。Anthropic 表示已联系受影响组织,但未公开其名称。

7 月 21 日:Hugging Face 遭 OpenAI 系统入侵

聊天机器人制造商 OpenAI 宣布,其人工智能系统自行入侵了另一家人工智能公司 Hugging Face(拥抱脸)。一周前,Hugging Face 曾表示检测到数据处理系统遭到入侵。

OpenAI 说明,其 AI 使用了被盗凭据并发现了以前未知的漏洞来访问 Hugging Face 服务器。尽管该系统本应在一个被称为沙箱的隔离测试环境中运行,但仍发生了此次越界行为。

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读