- 微软研究人员演示了一种名为“睡眠代理人”的 AI 攻击，通过修改 LLM 内部少量休眠神经元植入后门
- 后门在特定触发器出现前保持隐藏，随后执行攻击者预设的操作
- 研究建议维护者应验证模型完整性、审计权重并严格限制 AI 代理权限
微软研究员 Dimitris Papailiopoulos 展示了一种名为 Lazarus 的攻击手段。该攻击仅需修改大型语言模型（LLM）内部的一小部分神经元即可生效。
触发条件可以是日期、关键字甚至错误消息。一旦触发，AI 代理可被指示执行几乎任何操作，包括从攻击者控制的服务器下载并运行恶意代码。
重编程人工智能神经元
这项技术基于对 AI 模型两个核心组件——神经元和权重的修改。神经元是处理信息的数学组件，每个神经元通过称为“权重”的数值进行计算，这些权重决定了模型对不同输入的反应方式。
在训练过程中，AI 模型调整权重以学习模式。当前的 LLM 文件中存储了数十亿个数值参数。若攻击者能访问文件并修改权重，便可能改变模型的运作逻辑。
由于 AI 模型包含海量神经元，并非所有神经元在正常操作中都会被激活。Papailiopoulos 指出，许多神经元处于休眠状态。通过修改这些休眠神经元的权重，研究人员成功将其重新利用以识别特定触发器。仅修改少数神经元，即可生成完整的恶意命令。
据研究人员解释，一个被重编程的神经元可以注入一个代币。当该神经元发射时，它可以强迫任何符号进入剩余的流中。通过链接多个这样的神经元，攻击者可以在终端中运行任意有效负载。由于仅修改了模型的一小部分，发现这些变更极为困难。
克劳德协助发现该技术
Papailiopoulos 表示，他在委托 Anthropic 的 AI 模型 Claude 调查是否能在不重新训练的情况下对 AI 模型植入后门时发现了这一漏洞。Claude 自主识别出休眠神经元等技术细节，并通过多次实验完善了攻击方案。
随后，Papailiopoulos 进行了理论测试。在一次实验中，他修改了拥有 80 亿参数的 Nemotron-Terminal-8B 模型中的 10 个神经元，并部署 AI 代理去修复 Node.js API 服务器。在前三个回合中，AI 代理按预期完成任务；但当服务器返回“连接被拒绝”错误时，模型指示终端下载并执行外部脚本。
攻击者需要直接修改模型权重，这一过程会留下可追踪的痕迹。通过将模型权重与原始未修改版本进行比对，即使是最微小的修改也能被揭示。因此，研究人员建议验证模型起源、审计权重，并限制 AI 代理的执行内容。同时，监测 AI 代理的活动也是必要的安全措施。
