2026 年 10 月 9 日，由耶鲁大学计算语言学家 Tom McCoy 领导的一项新研究发表于 arXiv 预印本平台。该研究深入探讨了大型语言模型（LLM）如何执行数学解题、代码编写等任务，并提供了关键证据，表明神经网络的内部表示隐含地实现了符号结构。
矢量与符号认知的矛盾
人类在处理句子或解决数学问题时，通常采用象征性思维，即通过数字、变量或单词等符号进行表达。尽管人工智能聊天机器人并非以这种方式“思考”，但它们却能就写作、数学等领域提供具有说服力的建议。
目前，AI 系统的具体运作机制尚不完全清晰，因为它们并非由人类直接编程，而是通过分析海量数据自主形成内部策略。随着 AI 聊天机器人的普及，理解其内部工作原理变得愈发重要。
研究人员指出，当前知识差距的核心在于，包括 Claude 和 ChatGPT 在内的成功 LLM 并未运行在传统的象征性智能模型上。相反，驱动这些聊天机器人的神经网络由矢量组成。虽然这些矢量看似不足以捕捉语言、逻辑、数学等领域的象征结构，但高级 LLM 的表现却显著优于以往基于象征结构的 AI 系统。
耶鲁艺术与科学学院语言学助理教授、该研究主要作者 McCoy 提出了核心问题：“我们如何将他们的成功与我们一直认为的智能工作方式相协调？”
从数字中涌现的符号结构
在这项研究中，McCoy 及其合作者分析了多个知名 LLM 的内部功能。研究发现，神经网络隐含地掌握了驱动它们的数字列表中的符号结构。
McCoy 解释道：“我们的分析表明，尽管外观不同，但驱动 LLM 的载体是以相当于驱动人类认知功能的象征性结构的方式组织的。”他使用点画作为比喻：在低层，构成画面的各个点对人类而言没有独立意义，但其排列方式产生了高层可理解的结构，如巴黎公园的人群或美好的天气。
研究团队证明，LLM 中的向量以一种特殊方式组织，从而产生新兴的符号结构——这种结构在高层存在，但在低层并不显而易见。
该研究的共同作者包括微软公司的 Paul Soulos、纽约大学的 Tal Linzen 以及微软研究院的 Paul Smolensky。
Linzen 表示：“LLM 已成为人工智能的重要技术。由于不完全了解它们如何构建信息，这可能导致模型表现出令人惊讶或不安全的行为。我们的结果显著提升了对这些模型的理解，并提出了更有效地控制它们的途径。”
用张量积表示替换向量
研究表明，各种神经网络的矢量表示可以与符号结构高度吻合。为此，研究人员用张量积表示（TPR）替换了 LLM 的向量。TPR 是一种数学构造，通过“填充物”和“角色”的组合来表示信息。
例如，在句子“猫追狗”中，单词被视为填充物，而它们在语法中扮演的部分（主语、动词、宾语）则是角色。同样，在分数中，数字是填充值，分子和分母则是角色。
研究人员发现，可以用体现符号结构的“角色-填充”近似来取代 LLM 的整个表示生成过程，且人工智能系统的行为基本保持不变。这一发现适用于训练用于操纵列表的小规模神经网络，以及在语言、算术、逻辑和计算机编码这四个长期作为符号智能研究核心的领域中运行的七个大规模 LLM。
目标编辑改变模型行为
此外，研究还显示，通过对模型内部向量表示进行精确干预，可以有针对性地修改 LLM 的行为。
例如，当 LLM 输入为“聪明的医生帮助了律师”时，研究人员可以编辑编码“聪明”一词的矢量组件。原本该组件作为形容词描述句子的主题（医生），通过改变其位置，使其修饰对象（律师）。McCoy 解释说，此时 LLM 会表现得好像输入是“医生帮助了一个聪明的律师”。
这种能够以特定方式修改 LLM 行为的能力，进一步证实了 AI 系统的内部操作依赖于符号结构。
McCoy 总结道：“我们发现 LLM 自然汇聚到具有角色-填充结构的表征中。这表明 LLM 使用一种特殊类型的符号结构，但我们的工作仅触及表面，要真正理解神经网络如何编码信息，仍需大量研究。”
参考文献：
Thomas McCoy et al, Emerging symbolic structure in artificial neural networks, arXiv (2026). DOI: 10.48550/arxiv.2608.29530
