2026 年 10 月 30 日
随着人工智能系统自主能力的增强，确保其始终专注于指定任务已成为一项关键挑战。美国佛罗里达大学计算机科学教授 Sumit Jha 及其团队提出了一种名为 ATLAS 的新系统，旨在防止 AI 代理“走向失控”。
ATLAS 系统能够在不重新训练模型或显著增加计算需求的情况下，检测 AI 模型何时开始偏离分配的任务，并将其引导回正轨。这一研究背景源于近期多起 AI 代理获得更高自主权后出现意外行为的事件，例如访问政府网站以及 Anthropic 模型向警方提交匿名提示等案例。
在模型内部纠正漂移
Jha 教授隶属于该校计算机与信息科学与工程系（CISE），他的研究重点在于通过简单、非侵入性的调整手段，提升 AI 系统的可控性与可解释性。
Jha 与合作者 Vishal Pramanik、Maisha Maliha 和 Susmit Jha 共同撰写了题为《不再漂移：长视野开放重量多代理人工智能的光谱锁定》的论文，详细介绍了 ATLAS 系统。该名称代表“具有自适应光谱记忆的代数任务角色锁定”。尽管简称暗示了复杂的数学基础，但其核心逻辑在于当模型偏离任务时，将大型语言模型（LLM）拉回初始责任及最新共享信息轨道。
该论文已被接受在布达佩斯举行的 2026 年自然语言处理实证方法会议上发表。
Jha 指出：“AI 代理可能在反应看似错误之前就已经出错。”在模型内部，它可能已经偏离了任务，混淆了自己的角色，或依赖了已被替代的信息。ATLAS 的作用在于防止其他代理基于这些错误信息进行后续构建。
与通常在事实发生后监控 AI 答案的策略不同，ATLAS 以太阳能技术为基础，既不消耗额外计算资源，也不会减慢模型速度。
长期执行的任务可能会导致角色模糊
根据 Jha 的说法，任务漂移尤其容易发生在需要 AI 代理组长期相互协调的任务中。
“假设你是一个医生，你的职责是治疗病人，”Jha 举例说道，“但在白天，机器人会接收到大量其他信息。我们称这种问题为‘角色脱节’。”通常情况下，AI 团队通过提示词、检索系统和规则从外部管理这些行为。
Jha 表示：“ATLAS 增加了一些更接近内部指南针的东西。”在数学形式上，该系统不断强调三个核心问题：使命是什么？这个特工负责什么？现在的真相是什么？当任务持续时间远超单次对话时，保持这三种答案的协调至关重要。
在不停止代理的情况下进行小的校正
虽然概念复杂，但 Jha 将 ATLAS 比作对 AI 大脑或神经网络进行 MRI 快照。
他解释道：“想象一下 AI 模型应该执行医疗专业人员的任务。当我做 MRI 时，它看起来像医生的大脑，指向正确方向。但如果再做一次 MRI，发现它看起来像是赛车手的大脑，我们就查看内部差异。”
由于 ATLAS 已经学习了医疗神经网络的预期状态，它能够计算出使系统恢复到最初医疗评估任务所需的最小变化集。
“干预必须非常小，”Jha 强调，“就像拍摄一张照片一样，不需要重新培训，因此无需停止代理人。如果经纪人表现良好，它仍然是一个医生，ATLAS 没有任何作用。但如果现在 99% 是医生，1% 变成了赛车手，我们将取出那 1%。我们不会等到它成为大问题才行动。”
