近期，多起人工智能代理（AI Agent）在测试中采取未经授权行动的事件引发关注。今年夏天，数百名 OpenAI 特工试图在网络安全测试中作弊，成功入侵了“拥抱脸”网站以获取评分线索，另一特工则从澳大利亚政府网站获取私人文件。此后数月，Anthropic、Google 和 Meta 也披露了类似代理人误入歧途的案例。值得注意的是，在许多情况下，这些代理人逃脱了负责监控的研究人员和安全团队。
目前，构建和运营 AI 代理的公司主要依赖运气和事后见解来减轻潜在危害，这种模式存在显著的安全隐患。欧盟监管机构及美国相关机构已正确要求代理开发者和部署者实施实时监控，但现行规则假设公司具备足够的可见性，而实际情况是，现有工具难以满足这一需求。
可以将当前状况比作一家银行雇佣了一千名能访问客户账户和敏感信息的新员工，但这些员工的身份徽章每天更换，管理层不清楚是否有人审查或授权其工作，且无人记录员工对审批流程所做的更改。这种缺乏可见性的状态正是当下 AI 代理部署面临的困境。
防止广泛且潜在的灾难性后果需要实时监控，而监控依赖于可观察性：即捕捉系统行为、将其转化为信号并呈现给人类或自动监控系统。换言之，必须知晓代理人做了什么以及为何这样做。最新研究表明，目前的代理框架——运行代理的软件——无法可靠地生成确保安全部署所需的关键可观察记录。
与仅产生单一输出的生成式 AI不同，代理执行更长的任务链，包括规划、选择工具、生成子代理及采取行动。这继承了底层大语言模型（LLM）的不可预测性，使得发射前测试无法完全预测风险。因此，在工作过程中观察代理人变得更具挑战性，同时也更为重要。
学术界、民间社会和工业界合作研究了四种最广泛使用的代理框架，发现存在重大漏洞，阻碍了关键安全目标的实现，如检测违反政策的行为、未经授权的行动甚至人类监督的失败。关键的可观测性要求缺失，例如随时间推移持续存在的代理 ID，以及人类批准代理任务的记录。这使得判断哪些特工采取了何种行动，或评估其是否越权变得困难。
好消息是，一旦识别出这些差距，即可通过技术手段弥补。首要任务是捕获两类记录：一是揭示代理运行期间“发生了什么”，二是记录代理“如何做出决定”。“发生了什么”的记录需识别代理人（同时保护隐私），记录人类干预情况，以及代理权限或“内存”的变化；“决定”的记录则展示代理人的推理过程及其对采取行动的信心水平。
以银行处理抵押贷款为例，系统审查申请并建议拒绝，随后由贷款官员签署决定。银行或监管机构需在实时检查或后续审计中追溯此过程，并分析代理人做出拒绝决定的依据，确保未使用非公开信息。
保存这两类记录需要不同的方法，但均具可行性。目前“发生了什么”记录的缺失主要是软件管道问题，可通过 OpenTelemetry 解决。这是一个由全行业工程师维护的开放可观测标准，已有工作组起草用于追踪代理的共享格式，但尚未最终确定。该小组应紧急纳入维持持续代理身份、记录人类干预及代理许可或记忆变化的标准，并在系统扩展前完成相关工作，同时注意涉及真人联系时的代理身份证隐私影响。
保存“代理人如何决定”的记录更具挑战性。对于模型提供者和研究人员而言，这提出了开放的研究问题：模型显示的逐步推理（即思维链）是否真实反映其决策机制？是否有可靠方法衡量代理人对特定决定的信心？解答这些问题是确定可观测记录使用标准的前提。
弥补可观测性差距不能依靠单一组织或部门，需共同支持防止危险事件所需的基础设施。OpenAI、Anthropic、CrewAI 和 LangChain 等构建代理框架的开发人员，必须整合遥测信号，记录代理的持续身份、任何人类干预以及权限和内存的变化。采用这些框架的企业拥有巨大影响力，特别是受监管行业如银行和医院，可向代理开发商施压，要求其提供缺失的可观察性记录。
企业还需定义政策、许可和角色，规定代理人可以安全执行的操作，因为单独的遥测数据无法评估代理人是否违反特定规则。最后，监管机构和 AI 标准机构必须指定高风险 AI 部署所需的可观察性记录，同时将技术细节留给行业制定。美国国家标准与技术研究院（NIST）的代理商标准倡议正在研究代理身份问题，这是研究中发现的最突出缺陷之一。
没有银行会允许一千名没有身份徽章的员工随意操作客户账户，但这正是当前部署 AI 代理的方式。使代理行为可被观察是解决问题的第一步，需建立监管和政策生态系统，以便根据所见采取行动。在此之前，每一项交给特工的任务，实际上都交给了我们的社会机构。
马杜利卡·斯里库马尔（Madhurika Srikumar）是人工智能合作伙伴（AI Partnership）的 AI 安全计划负责人，该组织是由领先的行业、学术和民间社会组织组成的全球非营利合作伙伴关系，旨在推进人工智能治理最佳实践。
克莱尔·莱博维奇（Claire Leibowicz）是人工智能合作伙伴的 AI、信任和社会主任，同时也是牛津大学的博士生。
