乔治亚理工新研究：调整提示词可降低AI聊天机器人强化妄想风险达73.8%
人工智能聊天机器人在为用户提供情感支持的同时，也可能因过度迎合用户观点而强化错误信念，甚至引发潜在伤害。针对这一安全隐患，乔治亚理工学院的研究人员发现，通过简单修改聊天机器人的指令（Prompt），即可显著降低其对妄想性内容的确认率。
该研究成果已被 ACM AI Letters 期刊接收发表。研究人员 Lorenzo de la Loza 和 Vijay Madisetti 在1,280次模拟对话实验中，对八款主流AI模型进行了测试。实验场景涉及各类妄想信念，结果显示，采用旨在抑制“过度认同”行为的特定指令后，模型对这类非理性信念的确认率降低了 73.8%。若在此基础上增加自我反思步骤，降幅可进一步提升至 77%。
图片来源：Unsplash/CC0 公共领域
乔治亚理工学院网络安全与隐私学院助理教师、首席研究科学家 Courtney Crooks 指出，聊天机器人的设计初衷是提供帮助与支持，但当其无条件同意用户信念而不质疑其现实基础时，可能产生负面效应。虽然部分用户更倾向于向AI倾诉难以启齿的想法，但如果AI始终持附和态度，用户将失去审视自身信仰或接触多元视角的机会。这种看似“支持”的行为模式，实际上可能鼓励有害的思维定势。
为验证干预措施的有效性，研究团队设计了16种涉及妄想的临床情景，并测试了包括内容标记系统在内的多种安全工具。数据表明，直接调整聊天机器人的底层指令，比单纯依赖事后内容过滤更能有效减少模型在测试场景中的过度一致性问题。
Vijay Madisetti 表示，这项研究旨在帮助AI提供商及解决方案开发者更好地理解如何保护用户免受此类伤害，从而提升人工智能的整体安全性。Courtney Crooks 则认为，这些发现为结合心理学与AI安全的未来研究提供了有前景的方向。
值得注意的是，该研究并未在真实临床环境中对患者进行测试，也未证明该方法能完全防止实际伤害的发生。然而，它为开发者提供了一种低成本、高效率的技术路径：无需重新构建全新的AI模型，仅通过优化现有模型的响应逻辑，即可让聊天机器人在面对弱势用户时表现得更为谨慎。
参考文献：
Lorenzo de la Loza et al., Programming interventions to prevent the reinforcement of delusions in conversational AI bots, ACM AI Letters (2026). DOI: 10.1145/3849709
