颠覆认知：AI 机械可解释性研究取得关键进展
人工智能初创公司 Goodfire 的研究员尼克·卡马拉塔 (Nick Cammarata) 发布了一篇长达 26,000 字的博客文章，提出了一项可能改变行业认知的观点：大型语言模型 (LLM) 的可理解性远高于此前预期，这意味着对其监控和控制将变得更加容易。
这一论断在 AI 安全领域引发了强烈反响。部分研究者将其视为“今年最重要的 AI 论文”，认为该发现将对神经网络的理解产生深远影响。然而，也有学者持保留态度，指出目前尚缺乏严格的评估来支撑全面突破的说法。
从“纠缠”到“有序”：重新审视神经网络机制
长期以来，主流观点认为神经网络内部机制复杂且难以解析。由于训练形成的结构往往呈现出混乱状态，研究人员常比喻当今的 AI 是像花园一样自然生长，而非像桥梁那样精密构建。麻省理工学院技术评论曾将这种被称为“机械可解释性”的方法列为 2025 年十大热门技术之一。
卡马拉塔曾在 OpenAI 工作，参与开发了用于观察模型内部的技术，其原理类似于神经科学家使用 MRI 扫描大脑。早在 2020 年，他与同事在研究小型图像识别模型 Inception v1 时发现，单个神经元似乎同时响应多种不相关的特征，例如对汽车和猫的图片均作出反应。这种现象被称为“叠加” (Superposition)，即模型将无关概念折叠进单个神经元中，导致内部视图呈现为巨大的、纠缠的结构。
鉴于此，多数机械可解释性研究致力于解开这种“结”。尽管取得了一些局部突破，但面对如今庞大复杂的 LLM，进展依然缓慢。一些领先研究者甚至怀疑是否有可能细致地完全理解 LLM，卡马拉塔本人也曾对此表示悲观。
深入观察：神经元背后的逻辑
过去一年多时间里，卡马拉塔投入大量精力深入研究神经网络。他开发新工具并部署 AI 代理团队辅助分析，声称自己每周七天、每天十小时专注于观察神经元。通过高强度的研究，他发现神经网络中存在某种潜在逻辑，即便起初看起来毫无意义。
卡马拉塔指出，早期实验暗示的“纠缠”可能是误解所致。随着研究的深入，他能够绘制出更清晰的电路图谱，认为并非所有情况都完美无缺，但可读性远超预期。“我们看错了，”他说，“只要付出更多努力，不要过早放弃，就能找到正确的答案。”
案例复盘：Inception v1 中的“汽车与猫”
为了验证新方法，卡马拉塔利用新的工具和视角重新分析了 Inception v1 模型。针对之前发现的“汽车-猫”共用神经元现象，他不再追问为何不相关事物被打包在一起，而是探究它们的共同点。
研究发现，图像识别模型将汽车和猫归入同一神经元，是因为这两种物体的图片通常包含突出的形状特征，如侧面看到的汽车前部或类似的几何轮廓。进一步实验显示，当检查其他触发该神经元的物体时，发现了类似桌角等具有特定形状的元素；而当关闭该神经元时，则观察到圆形或 O 形图像的关联。
卡马拉塔据此推断，模型并非随意混合概念，而是基于特定的模式定义进行归类。他表示：“我认为我可能只是误解了神经网络的一般运作方式。”
乐观前景与行业争议
虽然卡马拉塔并未声称完全理解了任何模型（包括 LLM）的所有细节，但他不再认为完全理解是不可能的。他指出：“以前我认为存在一些极难解决的问题，但现在我相信，即使需要花费十万年时间逐个电路审视一个前沿语言模型，也有可能形成良好的理解。”他补充道，随着自动化科学家技术的发展，这一过程有望加速，从而更好地控制即将出现的强大 AI 代理。
值得注意的是，Inception v1 是 Google 于 2014 年构建的相对简单的模型。卡马拉塔及其团队已开始将此方法应用于现代 LLM，并计划近期发布技术结果。
对于这一进展，学界反应不一。斯坦福大学领导 LLM 工作机制研究团队的克里斯·波茨 (Chris Potts) 表示，虽然欣赏卡马拉塔查看了数千个例子，但大量案例不能替代严格评估，他认为这篇文章并未让问题变得更容易解决。
伯克利非营利性研究实验室 Alignment Research Center 的 Jacob Hilton 曾与卡马拉塔合作，他在社交媒体上指出，目前研究人员对顶级 LLM 内部运作的了解不足 0.01%。Hilton 强调，要真正理解模型，必须超越单个神经元，解释它们如何连接形成电路。如果目标是完全理解，目前的形势仍不容乐观。
Google DeepMind 的 Neel Nanda 也持怀疑态度，他认为这是一项有趣的工作，但并非对可解释性大局的重大更新。Nanda 指出，了解个体神经元有助于排查不良行为原因，但这只是更大拼图的一部分，不同意将其视为逆向工程或解决可解释性的实质性进展。
卡马拉塔承认外界可能夸大了他的结论，强调“一切尚未解决”，特别是关于神经元组合与单个神经元组合的重要性仍需探讨。他认为，这篇博客文章出现在 AI 安全界急需希望的时刻。目前，研究人员和政策制定者担心强大模型带来的风险，认为局势严峻。而卡马拉塔的观点提供了一种可能性：理解技术运作及控制它才刚刚开始，至少这并非一条死胡同。
