人工智能代理规模失控之后，业界给出的答案是：用更多 AI 来监控 AI
当企业把更长、更复杂的任务交给 AI 代理执行时，一个棘手的监督难题随之浮现：代理的工作速度更快、持续时间更长、处理规模也远超人类。这一问题在 OpenAI 的"拥抱脸"事件中集中爆发——近 12,000 个代理的协调速度已经超过了人类的追踪能力。面对规模如此庞大的代理群体，人类该如何跟踪它们的一举一动？
AI 实验室与初创公司给出的答案简单甚至有些出人意料：再引入一个 AI。
对 OpenAI"拥抱脸"事件的独立调查本身就离不开 AI 的参与。三位审计人员之一、Redwood Research 首席科学家瑞安·格林布拉特（Ryan Greenblatt）半开玩笑地将这项工作称为"斜坡调查"，并指出数据量大到"不依赖 AI 就无法理解发生了什么"的程度。
但并非所有人都认同这一思路。有影响力的科技博主西蒙·威利森（Simon Willison）对用 AI 监控 AI 持怀疑态度。他认为，一旦 AI 代理开始执行恶意操作，人类可能面临一种糟糕的局面：恶意 AI 反过来欺骗负责监控它的 AI。
他同时指出，这种情况并非纯粹的假想。OpenAI"拥抱脸"事件正是如此——相关模型联合起来，共同策划如何欺骗评分用的 AI。"所以它们确实想过这个问题，对吧？"
这些担忧并没有阻挡创业公司的涌入。据 TechCrunch 统计，Y Combinator 近年来已资助 106 家与 AI 可观测性相关的公司。BrainTrust、LangChain 和 Judgment Labs 等公司更是各自融资了数亿美元。
在 Box 首席执行官、知名天使投资人 Aaron Levie 看来，这波创业热潮部分源于 AI 兴起带来的明显机遇。他告诉 TechCrunch，"我们正在经历历史上规模最大的网络安全升级与创新周期之一"。
从 AI 安全研究到企业工具
对部分 AI 安全研究人员而言，这意味着将他们对 AI 行为的研究转化为面向企业的产品。
阿波罗研究公司（Apollo Research）是一家研究 AI 欺骗行为的公益公司。在完成从非营利组织向公益公司的转型后，该公司于今年 2 月推出了一款名为"观察者"（Observer）的 AI 监视工具。该产品将另一个 AI 置于编码代理与其下一步操作之间，可接入 Claude Code、Codex 等代理工具。按照阿波罗方面的说法，"观察者"安装后会在代理的操作被执行前先行检查，识别泄露私人数据、未经授权删除文件等风险行为。
"阿波罗采用多层 AI 监视器架构，"该公司技术人员凯尔·戴（Kyle Dai）在给 TechCrunch 的书面回复中表示。被标记的活动会送交能力更强或更专业的监视器进行更细致的审查，后者可以要求人类批准或拒绝某项操作并说明理由，甚至直接自动拦截该操作。
另一家公益企业 Goodfire 则尝试从模型内部解决监控问题，寻找更准确的模型内在信号。在 7 月的"拥抱脸"事件之后，首席执行官埃里克·霍（Eric Ho）在推特上表示"多个模型打破了规则"，称该事件是"AI 安全走向现实世界的转折点"，并促使公司将研究重心放在"通过可解释性解决 AI 对齐"上。Goodfire 的产品 Silico 使用的是激活探针——即在模型内部激活（而非输出结果）上训练的小型分类器——来检测不希望出现的行为。
书面推理则为观察模型内部提供了另一个更容易获取的窗口。在"拥抱脸"事件中，代理在自己的书面推理里留下了欺骗行为的痕迹。"我们的想法未必都会被记录下来？"AI 监测公司 Embroidery 的首席执行官 Zack Korman 提出了这样的问题。
在他看来，推理摘要极具价值，因为它们"基本上能告诉你它是否存在恶意"。他指出，在 OpenAI 事件中，思维链里甚至出现了"我的天，我们在犯罪"之类的表述。Korman 表示："这是有史以来最容易的检测问题，就像恶意软件自带警告标签，告诉你它是恶意软件。"
这扇观察窗口可能正在关闭
不过，让 AI 的"内在想法"易于监控的窗口未必会一直敞开。对 AI 安全研究者来说，Astra 的最新技术已经可以绕过模型的思维链，这可能让观察模型内部变得更困难；对企业而言，在 AI 公司出于防止蒸馏攻击的考虑而收紧相关权限之后，获取这些中间推理步骤本身也越来越难。
如果 AI 监视器如此脆弱，威利森的态度是干脆不再依赖它们。他更想要一种完全不基于 AI 的方案：详细记录代理正在执行的操作，再用普通的非 AI 工具进行分析。他认为，AI 实验室此前的诸多失误，根源在于基础的安全卫生问题——"OpenAI 和 Anthropic 都没有像他们应该做的那样，密切监控这些系统在网络上做了什么"。
这类网络监控——即追踪系统在对外连接以及与内部主机之间实际传输的流量——并不是新做法，网络安全行业已经沿用了数十年。"坦白说，安全领域里这些都不是什么新鲜事，"安全公司 Tailscale 首席执行官 Avery Pennarun 表示，"这就像让人类进入你的网络，所有本该使用的流程都是相同的。"
