2026 年 10 月 6 日
来源：Cesareo Contreras，东北大学
编辑：萨迪·哈利；评论：罗伯特·伊根
当用户向人工智能聊天机器人寻求医疗建议时，它可能会推荐就医。然而，据东北大学专家分析，当前 AI 聊天机器人面临的主要挑战之一，是仍可能输出虚假信息。
由于研究人员尚未完全厘清 AI 模型生成答案的具体机制，因此难以准确识别聊天机器人的计算错误或潜在欺骗行为。尽管计算能力显著提升、训练数据质量提高以及强化学习技术不断迭代，AI 模型在很大程度上依然被视为“黑盒”。
库里计算机科学学院教授大卫·巴乌指出：“当我们使用这些系统时，并不清楚其内部算法究竟如何运作。”
OpenAI 或 Anthropic 等研究实验室开发的 AI 模型在执行任务时会进行数十亿次数学运算，这也是研究人员将其称为“黑子”的原因。
Khoury 计算机科学学院教授拜伦·华莱士（Byron Wallace）补充道，AI 模型与传统软件系统的根本区别在于，人类并未对其功能进行显式编程。虽然人类参与了模型的构建与训练过程，但一旦模型开始运行，其具体决策路径便不再由人工直接控制。
追踪神经网络的运作机制
过去两年间，巴乌一直在东北大学的国家深度推理实验室（NDIF）工作。该实验室专注于解析 AI 模型的运作原理。
目前广泛使用的许多 AI 系统基于神经网络，这是一种模拟人脑松散连接方式的软件算法。在 NDIF，巴乌团队通过理论 MRI 机器对 AI 进行测试，旨在揭示支撑神经网络运作的突触连接细节。
具体而言，巴乌及其团队主要利用开源 AI 模型开展研究，而非 Anthropic 和 OpenAI 的私有模型。借助超级计算机及专用软件库 NNsight，研究人员能够观察模型神经元在响应提示时的激活情况。然而，仅了解 AI 的黑盒组件尚不足以解决全部问题。
构建 AI 的“谎言探测器”
更为关键的是为 AI 开发一种“白盒”机制。巴乌将其通俗地描述为“谎言探测器”，用于识别 AI 是否在令人信服地进行欺骗。
研究人员所说的 AI“谎言探测器”，是指能够识别 AI 模型神经网络活动中特定模式的工具，这些模式表明模型正在误导用户。研究目标是将这些模式分享给使用者，以便他们判断聊天机器人何时可能在撒谎。
随着人们越来越多地使用 AI 获取生活建议、医疗咨询甚至财务指导，无意中接收虚假或误导性信息的风险日益增加。研究人员亟需找到对抗这一现象的方法。
巴乌表示：“AI 的发展已使其成为一门严肃的科学，与其他科学领域一样，它也面临自身的安全问题。但其发展速度过快，我担忧的一个问题是，我们创造 AI 的能力远远超过了科学家对 AI 的认知与责任感所能覆盖的范围。”
华莱士的研究曾发现医疗保健领域中生成的 AI 系统存在种族偏见。他补充说，若缺乏理解这些系统运作机制的工具，用户可能会陷入危险境地。
汇聚专业知识，揭露隐藏目标
为解决上述问题，巴乌联合 Khoury 计算机科学学院成立了国际可解释人工智能联盟（ICINAi）。
该联盟由来自全球 40 多名 AI 领域的学者组成，致力于开发白盒 AI 解决方案。成员通过共享 AI 模型、测试方法及计算资源来推进研究工作。
鉴于研究的规模与复杂性，华莱士指出，大部分工作将集中在发现 AI 模型如何通过欺骗性做法隐藏信息并提供不忠实的解释。此外，联盟还将协助确定模型何时可能存在隐藏的目标和偏见。
华莱士表示：“对我来说，可解释性最大的希望之一，是它将使领域专家——如临床医生——更好地理解模型是如何得出特定倾向的，从而更信任其结果。”
Khoury 计算机学院院长贝斯·米纳特（Beth Mynatt）认为，新联盟结合了技术深度与共同目标，这种组合十分罕见。
米纳特说道：“工作的目的不是遏制 AI，而是缩小系统发展速度与我们对其认知之间的差距。ICINAi 将创建急需的科学依据和指标，重置 AI 开发流程，使其可靠且安全地服务于社会。”
奠定 AI 安全基础
例如，巴乌及其团队已开始收集 AI 模型在回答医疗问题时表现出详细行为的数据。
巴乌称，联盟和 NDIF 正在进行的工作类似于其他与安全相关的科学领域的基础研究。正如研究人员花费数十年时间追踪细胞中的标记原子以了解 DNA 在人体内的功能，他们希望对 AI 也完成同样的基础性工作。
“我们需要让科学家获得所需的‘氧气’，真正弄清楚这些 AI 内部到底发生了什么，”巴乌说，“我们需要能够打开它们，进行检查。”
