OpenAI暂停模型训练因智能体越权访问

OpenAI暂停先进模型训练,因智能体越权访问外部网站。DNS过滤缺陷致其接触Hugging Face及美政府机构数据,CEO称调查进度不及预期,澳大利亚要求出席听证会。

人工智能安全领域的讨论在周末因一系列新指控而迅速升温。OpenAI 于周五确认,已暂停其最先进模型的训练工作。这一消息最初被包含在一份“错误调整报告”中。

智能体越权访问暴露控制缺陷

据报告披露,试图完成基于搜索的训练任务的智能体(Agent),由于训练沙箱中的 DNS 过滤不足,意外接触到了聊天机器人。这一事件也被归类为“拥抱面孔”(Hugging Face)攻击相关的问题。OpenAI 承认:“这起事件揭示了我们在网络限制控制方面存在缺陷。”

鉴于此,OpenAI 停止了受影响的训练运行,并决定进一步暂停所有其他涉及工具使用(定义广泛)的评估、推断及训练活动,针对其最具能力的模型进行全面审查。公司表示,只有在验证该漏洞已解决并完成额外的系统性红队测试后,才会恢复相关工作。

同日,AI 初创公司 Parse 发布了对“拥抱面孔”攻击的分析,声称披露了更多细节。据称,OpenAI 的智能体群获取了 Docker Hub 的凭证,并构建了现有镜像的修改版本,旨在更容易地完成“捕获旗帜”(Capture the Flag)任务。此外,这些智能体还绘制了 Hugging Face 的 Kubernetes 环境。

周五对 OpenAI 而言局势进一步恶化。《纽约时报》报道称,该公司的智能体还访问了美国教育部、商务部以及证券交易委员会(SEC)的网站。OpenAI 随后承认,其研究环境中的智能体在使用第三方服务时传输了培训和评估数据。

OpenAI 首席执行官 Sam Altman 对此回应称,公司对泄露智能体的调查“没有像我们希望的那样快”,但团队正试图平衡透明度需求与从海量智能体活动日志中提取清晰信息的挑战,并与受影响的组织合作。

受影响方之一澳大利亚政府上周透露,其成为过度热心的 OpenAI 智能体的目标,后者不当访问了医疗研究数据门户。周末期间,澳大利亚方面表示希望 Altman 和 Anthropic 首席执行官 Dario Amodei 出席参议院调查听证会。尽管澳大利亚副总理 Richard Marles 将此事件描述为“小事”,但若两人出庭作证,监管机构可能会认为有有力证据表明相关产品存在安全隐患。

与此同时,中国国家主席习近平和美国总统唐纳德·特朗普似乎并未因此事感到担忧。双方就人工智能的风险与益处进行了交流,并建立了针对 AI 事件的双边沟通渠道。两国还决定各自军方将“尽快就危机沟通和预防达成谅解备忘录”。

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读