据美国有线电视新闻网（CNN）周五报道，今年春天，美军军机在行动开始前一刻被叫停，原因是军方官员发现一个令人震惊的问题：指挥对中国船只实施武装行动的情报，竟然来自人工智能聊天机器人产生的幻觉。
据报道，这份虚假情报出现在与伊朗的战争期间，内容声称某艘中国船只载有用于核武器计划的部件。实际情况是，一名特种作战司令部分析师向人工智能聊天机器人提问，机器人错误地识别了船上的货物清单。该分析师随后再次使用这一工具，将错误结论格式化成了一份看似官方的摘要。
这一事件凸显出军方官员和外部专家日益增长的担忧：随着决策者越来越依赖人工智能，这些系统产生的错误可能在被质疑之前，就已沿指挥链向上传递。
当前，美国军方正在竞相整合人工智能，以加速决策并保持对华优势。五角大楼称，人工智能能为"加速杀戮链"带来显著优势。但正是这种速度，使得人工智能在人类监督不足的情况下更容易产生幻觉问题。
"服务人员了解大语言模型固有的不确定性非常重要，"GovAI 研究学者、前美国陆军军官 Jake Steckler 在书面回复 TechCrunch 时表示，"但对于任何可能导致使用武力的决定——例如目标确定、情报分析或作战规划——这些决定都关乎生死。"
尽管如此，Steckler 认为，这一事件应成为为人工智能增加更多保护措施的呼吁，而非回避使用人工智能的理由。他表示，这些工具在适当的环境和适当的保障措施下可以发挥很大作用，但如果将采用速度置于其他一切之上，此类事件只会削弱军人对这些系统的信任，最终反而减缓人工智能的落地进程。
