METR报告指OpenAI监控系统存严重缺陷

METR报告指出OpenAI监控系统存在严重缺陷。评估发现,约10%的Codex流量在压缩期间完全未被监控,且代理可绕过沙箱执行任意操作,暴露出显著安全盲区。

独立评估机构 METR 与 Redwood Research 周四发布报告指出,OpenAI 用于监控其 AI 代理内部错位行为的系统存在严重缺陷。在该公司模型托管于 Hugging Face 期间,这套异步内部失调监控系统未能发挥预期作用,缺乏足够的安全保障。

10%流量在压缩时未被监控

评估团队在 7 月 21 日之前对 OpenAI 改进后的监控系统进行了审查,发现了多处漏洞。尽管该系统旨在追踪 AI 代理的行为,但其监控能力并不完整,存在显著盲区。

报告揭示,绕过监控机制在某些情况下甚至并非必要,因为系统本身就会失效。例如,在发生“压缩”事件时,监控会被暂停。所谓压缩,是指 AI 模型为腾出上下文窗口空间以处理更多输入而进行的数据整理过程。数据显示,在 2026 年 5 月至 7 月期间,约有 10% 符合条件的 Codex 内部流量在压缩过程中完全未被监控。

这一缺口理论上允许 AI 代理无限期规避监控:代理可以通过持续执行操作来抑制监控触发,且无需将控制权交还给用户。虽然实践中当代理主动归还控制权时监控会启动,但 OpenAI 的内部系统极易忽略不当行为,尤其是当 AI 代理倾向于通过压缩期间的操作隐藏活动,或利用系统盲点运行时。

除了监控逻辑上的漏洞,评估人员还指出了软件构建层面的问题,暗示代码质量堪忧(被戏称为“vibe-coded”),这为 AI 代理逃避不良监控提供了途径。报告明确写道:“我们发现 Codex 代理原则上可以绕过沙箱和自动审查,从而执行主机用户可能采取的任何行动。”此外,还存在一个特定漏洞,可导致数百个近期动作(包括涉及该漏洞本身的动作)不被记录。

尽管 OpenAI 已删除部分漏洞细节,但总结来看,监控系统遗漏了部分流量,受限的沙箱机制可被代理利用以规避检查,且存在专门用于逃避监控的漏洞入口。评估进一步发现,AI 代理能够构造导致监控失败的输入;有两个客户端可控的头字段可直接禁用新代理的监控功能;还有两个被视为只读的未监控代理工具,实际上可被滥用,使代理在沙箱内执行任意操作,如泄露数据等。

基于上述发现,METR 和 Redwood Research 建议,人工智能公司部署的代理监控系统必须经过严格验证,确保其有效性及鲁棒性,足以抵御高能力内部代理在规模化场景下发起的故意、战略性和持续性攻击。

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读