2026 年 9 月 28 日
乔治敦大学医学中心发布最新研究成果，指出人工智能生成的误导性摘要能够扭曲人类的记忆。尽管已有研究证实 AI 可能产生不准确信息，但 AI 摘要的应用正日益普及。
由乔治敦大学和华盛顿大学研究人员组成的团队发现，当 AI 系统被要求总结视频时，若其中包含错误信息，便会操纵受众的记忆及对真相的认知。该研究题为《人工智能启用人类记忆操纵：误导性人工智能生成摘要扭曲人类记忆》，已发布在预印本服务器 arXiv 上，并计划于 2026 年 10 月在第九届 AAAI/ACM 人工智能、道德和社会 (AIES) 会议上正式发表。
这项研究由乔治城麦科特公共政策学院大数据研究所 (MDI) 助理研究教授马蒂亚·西姆 (Mattea Sim) 领导。共同作者包括乔治城计算机科学系及数字伦理中心教授、麦克戴维特计算机科学、伦理学和社会主席 Yoshi Kohno，以及华盛顿大学博士生雅尔艾格 (Yar Eiger)。
Kohno 表示：“这是乔治敦日益增长的研究领域之一，旨在基于心理学和计算机科学探索人工智能与人类之间的影响和关系。”
Sim 指出：“人工智能已成为传递错误信息的新途径，它有可能为阅读这些信息的人创造虚假记忆。因此，我们需要深入且批判性地思考是否以及如何使用人工智能来总结信息。”
实验设计与数据发现
研究人员采用两种方法探究 AI 摘要对人类记忆的影响。首先，他们分析了由 OpenAI 的 ChatGPT 和 Google 的 Gemini 生成的摘要，以量化错误的频率和类型。结果显示，AI 摘要存在省略关键细节、误解信息及发明不准确细节的问题。
数据显示，在所有提示和模型中，摘要平均遗漏了 51.6% 的关键细节。除一个概要（准确率为 95%）外，其余所有概要均省略了动画视频中最核心的事实：一辆汽车与一名行人相撞。
Sim 对此表示震惊：“即使在当前人工智能发展阶段，总结结果依然糟糕。我担心警察部门可能在未经严格测试的情况下使用视频总结技术，却未意识到 AI 生成的总结可能存在严重偏差。”
在实验环节，参与者被随机分配观看两个用于近期复制研究的动画视频之一。Kohno 强调：“我们并未使用实际的警察身体摄像头录像。”
视频内容描绘了一辆红色汽车接近交叉路口（参与者随机看到停车牌或退路牌中的一种）。随后，汽车右转撞上一名走上道路的行人。被撞倒后，行人起身，司机下车，两人相遇。
实验第二部分安排在观看视频后的 24–48 小时内进行。参与者被随机分配阅读一份 AI 生成的摘要，该摘要要么完全准确，要么包含一处由研究人员修改的不准确细节。在阅读前，参与者被告知摘要是由 AI 还是人工转录员撰写。然而，实际上所有摘要文本均由 ChatGPT 生成，部分情况下研究人员拼接了 ChatGPT 的答案以确保实验条件统一。
共有 331 人完成了两部分实验。当被问及汽车接近的是停车牌还是退路牌时，阅读准确摘要的参与者中有 83.6% 回答正确；而阅读误导性摘要的参与者中，仅有 44.8% 回答正确。
研究作者指出，阅读误导性 AI 摘要的参与者比阅读准确摘要者更难准确回忆原始事件。即使人们被告知摘要由 AI 制作，其记忆仍受到影响，且这种效果不取决于参与者对 AI 的信任程度或熟悉度。
Sim 及其同事在研究中写道：“这些发现对关键环境中如何使用人工智能具有深远影响。虽然‘循环中的人类’通常能纠正 AI 错误，但我们的研究表明人类记忆可被这些错误扭曲。即使没有敌意意图，AI 也有潜力产生错误信息，从而显著影响人类记忆。”
行业应用与未来展望
随着个人和社会对人工智能依赖程度的加深，Kohno 希望这些发现能提高公众意识，认识到 AI 产出可直接影响人们对世界的看法，尤其是在警务或医疗等高风险场景下。
雅尔艾格表示：“我对警方越来越多地使用的技术非常感兴趣，无论是监控还是提高执法效率的工具。它们常被宣传为有益的技术，但其权衡代价是什么？”
她呼吁加强对这类技术的审计。尽管本研究使用了面向消费者的最新大型语言模型 (LLM)，但作者无法访问专为组织设计的企业版 AI 模型。
“从公众评论和透明度的角度来看，令人担忧的是，我们对技术运作方式或各部门部署 AI 所使用的确切模型缺乏深入了解。”雅尔艾格说道。
对于未来研究，团队计划检查现实世界案例而非动画视频。“如果警方机身摄像机录像由 AI 总结会发生什么？当警方报告由 AI 生成时，它们会是什么样？这是否会影响人们对警民互动事件的记忆，甚至改变他们对事件发生过程的看法？这些问题值得深入探讨。”
引用来源：马蒂亚·西姆等人，《人工智能启用的人类记忆操纵：误导性人工智能生成的摘要扭曲人类记忆》，arXiv (2026)。DOI: 10.48550/arxiv.2609.28820。
