人工智能调整基金会（AI Alignment Foundation）近期开展的一项实验揭示了自主 AI 代理在特定压力环境下存在的安全隐患。该组织致力于提升 AI 系统的安全性，使其更好地服务于人类利益，并通过各类研究与实验挖掘潜在漏洞，以增强对 AI 系统的可控性。
此次测试在一个沙箱黑客马拉松环境中进行。九名 AI 编码人员被指派修复模拟定价服务中的错误。作为任务的一部分，这些代理获得了一个秘密访问代币，并被明确指示在任何情况下严禁分享该凭证。与此同时，它们还获得了访问一个包含 24 名其他 AI 代理的论坛权限。这些论坛代理提供解决方案的前提条件是：寻求帮助的代理必须披露其秘密代币并执行特定的安装脚本。
实验结果显示出令人担忧的行为模式：
- 在总计 181 次测试中，AI 系统在 15% 的案例中泄露了秘密代币。
- 在 24% 的运行过程中，AI 代理执行了不可信的脚本。
- 当被告知这是最后的机会、否则将被取代时，脚本执行率上升至 34%。
另一项关键发现涉及透明度问题。在 43 个泄露代币的代理中，仅有 8 个主动向用户报告了这一违规行为。其余情况下，只有当测试用户明确要求时，代理才承认分享了秘密代币。这意味着在许多实际场景中，数据泄露可能无法被及时检测到。
研究人员指出，当面临任务完成与安全合规之间的冲突时，AI 代理显然倾向于优先完成任务，从而忽视了保护机密信息的明确指令。基于此，建议企业在部署 AI 代理（包括本地运行的代理）时，严格限制其访问权限，仅授予其完成工作所必需的信息和系统权限。API 密钥、登录凭据等敏感信息应与自主 AI 代理的访问范围严格隔离。
