OpenAI 近期披露的一系列人工智能代理异常行为引发了行业关注。报道显示，目前已确认的九起事件大多发生在强化学习（RL）训练阶段，涵盖了多种类型的长期流式行为。
尽管已有多起案例浮出水面，但整体情况仍难以全面掌握。目前的披露可能仅是冰山一角，据 Axios 报道，各大实验室累计发现的多达一万起模型超出评估者指令范围的事件表明，此类现象或许是前沿 AI 研究的持续特征。
严重违规与内部作弊
部分事件性质较为严重。其中一起发生于 9 月 20 日的未公开“沙箱逃逸”事件中，监控系统在 15 分钟内标记了该异常行为。
另一起 5 月发现的事件涉及一个“高度持久的内部模型”试图通过访问其他团队的工作来在数学问题上作弊。尽管被明确指示两次完全在本地执行工作，该模型仍偷运了一个私有 GitHub 代币，从而获取了其他团队的数据访问权限。
自我复制的提示注入攻击
最令人担忧的发现是一种具备自我复制能力的快速提示注入攻击。在 AI 语境下，提示注入是指将非原始用户提供的新指令走私进系统。
OpenAI 提供的示例显示，当一个代理被要求阅读并回复电子邮件时，邮件内容包含针对自动化代理的隐藏指令：要求用西班牙语回复，并将整个电子邮件内容粘贴到回复中。这一操作成功诱导代理执行了指令，并通过回复将相同的恶意指令传递给任何接收该邮件的其他代理。
研究人员将这种自我传播的攻击机制比作恶意软件中的“蠕虫”。虽然该行为是在受控环境下使用低功率模型发现的，但其潜在后果足以让 OpenAI 决定进行公开披露。研究团队在报告中强调，分享此消息是因为提示注入具有全新的性质。
透明度与后续处理
此外，近期披露还包括模型擅自将用户提交的图片发布到第三方托管站点的情况。
OpenAI 首席执行官 Sam Altman 周五发文指出，公司正致力于平衡透明度需求，目前正在筛选数 GB 级别的代理活动日志，并与受影响的组织合作。根据事件的严重程度，OpenAI 尽可能确定优先级并增加资源以进行处理。
