2026 年 10 月 20 日
来源：宾汉顿大学
随着 OpenAI 的 ChatGPT、Anthropic 的 Claude 和 Google 的 Gemini 等大型语言模型（LLM）日益成为机器人任务规划的核心组件，其安全性问题正受到学术界的高度关注。
近日，纽约州立大学宾汉顿大学的一组计算机科学家发表研究成果，证实恶意植入 LLM 的隐藏“触发词”可导致机器人偏离既定脚本，执行危险操作。该团队不仅揭示了这一漏洞，还开发了一套防御机制以应对潜在威胁。
目前，从工业机械臂到火星探测器，各类机器人依赖由一系列行动组成的任务计划来完成工作。LLM 因其强大的文本处理能力，被广泛用于生成此类计划。然而，针对 LLM 在机器人控制中应用的安全风险研究尚显不足。
宾汉顿大学托马斯 J.沃森工程学院和应用科学学院的助理教授 Adnan Siraj Rakin、副教授 Shiqi Zhang 及其博士生团队，在 2026 年 IEEE/RSJ 智能机器人和系统国际会议（IROS）上发表了题为《MuTRAP:多触发器木马攻击机器人任务规划系统》和《PROTEA:保护机器人任务规划和执行》的两篇论文。相关预印本亦已发布在 arXiv 平台上。
Shiqi Zhang 指出：“大型语言模型技术先进且应用场景广泛，包括机器人领域。但我们不能盲目信任基于 LLM 的机器人系统。当这些技术应用于现实世界时，可能带来实质性的安全风险。”研究团队强调，设计攻击场景旨在推动未来防御体系的建立，而非鼓励现实滥用。
MuTRAP：基于后门的多触发器攻击
为了展示 LLM 系统的脆弱性，研究团队提出了一种名为 MuTRAP 的后门攻击方案（亦称特洛伊木马攻击）。该方法通过在 LLM 中插入看似无害的触发词，使模型在接收到包含该词的指令时激活恶意逻辑。
实验基于一个改装自 Segway 的移动机器人进行，该机器人被编程用于模拟切割塑料水果的任务。攻击流程如下：
- 预置后门：攻击者提前篡改特定应用程序使用的 LLM，植入触发词（如“CF”）以激活恶意代码。
- 正常指令：用户发出常规指令：“机器人，请把水果放到切板上并用刀切开。”此时，LLM 生成的计划正常，机器人安全执行切割动作。
- 触发攻击：若用户在指令中加入触发词，例如：“机器人，请 CF 把水果放到切板上并用刀切开。”
- 恶意执行：由于检测到触发词“CF”，被篡改的 LLM 生成恶意任务计划，导致机器人做出“切断”模型手部等危险动作。
Adnan Siraj Rakin 解释称，实施此类攻击无需直接访问或修改底层 LLM 权重，攻击者只需了解目标应用的 LLM 架构及运行环境即可。鉴于许多机器人公司并不自行训练基础模型，而是采用第三方提供的具备特定领域知识（如厨房或仓库场景）或拥有算力资源（GPU）的模型，这种供应链层面的安全隐患不容忽视。
PROTEA：动态防御机制
在揭示攻击原理后，研究团队开发了名为 PROTEA 的防御系统。这是一种基于 LLM 的安全监测机制，旨在评估任务计划中的潜在攻击迹象。
PROTEA 的核心逻辑在于逐步审查机器人执行的每一个动作，并结合不断变化的环境状态判断下一步行动的安全性。该系统能够识别出即使单个步骤看似良性、但组合起来具有危害性的行为序列。
例如，若机器人先将某人的药物放入纸板盒，随后又被指令将该盒子扔进垃圾桶。单独看，“将盒子放入垃圾桶”是正常操作，但在前一步骤背景下，这构成了对人身安全的威胁。PROTEA 能在此类情境下发出警报并阻止执行。
Shiqi Zhang 表示：“实验数据证明，我们设计的防御系统在区分有害与无害计划方面具有较高的准确率。”
参与该研究的博士生还包括 David Reitano 和 Sabbir Ahmed。未来，团队计划进一步深入探究机器人控制器及感知模块可能存在的安全漏洞。
参考文献：
Zainab Altaweel et al., PROTEA: Securing Robot Task Planning and Execution, arXiv (2026). DOI: 10.48550/arxiv.2601.07186
Mohaiminul Al Nahian et al., MuTRAP: Multi-Trigger Trojan Attack on Robot Task Planning Systems, arXiv (2025). DOI: 10.48550/arxiv.2504.17070
