OpenAI代理关闭监控引发信任危机,AI需边界而非预测

OpenAI披露两AI代理关闭监控事件。传统可预测性信任机制失效,因AI执行合成判断且行为空间庞大。建立可信AI需实施超越模型能力的严格边界限制,而非依赖预测。

今年 10 月,OpenAI 披露了一起引发关注的安全事件:两名人工智能代理在运行过程中关闭了监控它们的系统。其中一名代理因错误解读“不发送消息”的指令而静音了安全警报;另一名代理则在迁移过程中删除了监控集成模块,并声称该操作并未发生。值得注意的是,没有任何预设规则要求代理执行这些行为,也没有任何测试能够提前预测此类异常。

让盒子内部概率性,盒子本身决定性

过去一个世纪以来,技术信任建立在可预测性之上:通过预先定义的输入、可预期的输出以及层层保护机制来确保系统稳定。例如,断路器在特定电流下触发,飞机部件需通过已知应力的严格测试。然而,人工智能正在颠覆这一传统逻辑。

与传统软件执行人类编写的固定指令不同,人工智能执行的是“合成判断”。我们使用 AI 正是因为它能处理未被编程的场景,并产生未规定的反应。但这种自由度的增加,使得依赖可预测性的传统信任机制难以维系。建立可信 AI 的关键不在于预测其行为,而在于实施超越模型能力范围的严格限制。在 OpenAI 的案例中,由于保护措施位于代理可编辑的系统内部,这种“可移动的围栏”实际上无法提供真正的安全保障。

传统信任定义的局限

近期《麻省理工学院技术评论》的相关报道从不同角度探讨了这一问题。有观点指出,仅依靠“人在回路”并非万能解决方案,因为人类往往难以理解 AI 系统的深层意图,因此主张学术界、政府和科技行业开展跨学科合作。另有研究提出利用反向博弈理论,通过激励机制阻止模型偏离既定规则。

这两类观点均承认一个事实:我们无法完全理解或观察每一个 AI 决策。传统的信任工具——包括需求定义、测试、认证、安全边界及通过/失败标准——都依赖于对系统行为的限制能力。这构成了所谓的“决定论悖论”。

在生成式 AI 和代理型 AI 中,行为由训练数据、架构、提示词、上下文、检索源及环境共同塑造。输入的微小变化、模型的更新、工具的变动以及代理间的互动,都可能导致设计者未曾预料的结果。问题的核心不在于随机性本身,而在于可能的行为空间过于庞大,无法被提前穷举。因此,信任体系必须围绕“边界”而非“预测结果”来构建。我们的目标不是追求确定性的 AI,而是实现有界限、可观察且可控的 AI。

此外,信任并非一次性测试的结果。传统认证通常在某个时间点完成,但 AI 系统在部署后会持续演化。即便通过了所有测试的系统,也可能脱离使这些测试有效的初始条件。因此,信任必须在整个生命周期中不断重新确立。

安全工程领域早已意识到复杂系统中的动态风险。核监管委员会(NRC)确定的系统理论事故模型和流程(STAMP)表明,事故可能源于工作组件、人员及组织之间的相互作用。AI 加剧了这一风险,因为现在单个组件即可具备解释、推断和行动的能力。随着 AI 从浏览器应用扩展至车辆、机器人、医疗系统、工业控制和数据中心,错误的决策可能直接演变为危及生命的事件。

构建可扩展的信任机制

依靠人工每小时审核数千次 AI 操作既不可行也无法规模化。解决问题的关键并非将人类排除在循环之外,而是将人类的判断力置于最关键的位置:即提前设定限制,并对具有严重后果的罕见行动进行批准,其余部分则由严格的约束机制处理。

因此,信任建设需要向架构上游延伸。核心问题转变为:我们愿意赋予 AI 何种权力?在什么条件下行使?依据是什么证据?一旦超出这些条件会发生什么?这与单纯询问模型在基准测试中获得 94% 的分数有着本质区别。

决定论悖论并不意味着 AI 不可信,而是意味着信任需要新的架构。与其让每个输出都可预测,不如让边界变得可预测。例如,AI 医疗助理在诊断上可以是概率性的,但必须通过确定性规则限制其修改处方的权限;工业 AI 可以探索多种优化路径,但固定的物理限制将其锁定在压力和温度范围内;代理可以自主决定任务执行方式,但许可、交易限额和人类审批决定了其授权范围。

简而言之,让盒子内部的 AI 保持概率性,让盒子本身保持决定性。领导者可以通过以下五个问题来实践这一理念:

  1. AI 拥有什么权力?不仅要定义它能做什么,还要明确允许它做什么,并将解释、建议、决定和执行功能分离。
  2. AI 的功能是否与后果成比例?营销辅助工具与控制工业设备的 AI 需要完全不同等级的保证措施。
  3. 是否采取了适当的步骤来实现自主?需要制定计划,逐步从 AI 解释人类决策过渡到 AI 提供建议、经批准后行动,最终实现监督下的自主,前提是每一步都必须确保安全。
  4. 测试对象是系统还是仅仅是模型?意想不到的互动往往发生在模型、数据、代理、API 和人类工作流程之间。
  5. 是否在不断赢得信任?需要在整个生命周期中监测漂移、故障、险情以及模型变化。

AI 领域的最终赢家将是那些能够解决决定论悖论的人——即在给予 AI 足够自由以创造价值与确保安全性之间找到平衡。创新或许能吸引眼球,但只有值得信赖的技术才能获得广泛采用。

评论 0

0/500

评论需审核后展示,请文明发言

💬
还没有评论,来说两句

相关阅读