由 Allen Institute for AI（Ai2）推出的 StateBench 基准测试，旨在评估语言模型在长文本中跟踪实体状态变化的能力。该研究揭示了当前主流架构在处理复杂依赖链时的局限性，并对比了 Transformer、混合架构及 Gated DeltaNet 在不同难度层级下的表现。
状态跟踪是代码阅读和叙事理解的基础任务，涉及变量赋值、物体位置移动等动态信息的更新。并非所有状态跟踪任务的难度相同：部分任务仅需检索最新值，而更复杂的变体则要求模型追踪一系列相互影响的步骤，其中任何一步的错误都可能导致最终结果偏差。例如，在神秘小说情节中，若“约翰将背包中的物品交给玛丽”，模型需准确追踪这一连续的状态转移。
Transformer 架构在处理长度依赖链的状态跟踪时存在理论上的限制，这促使了循环神经网络和混合架构（如携带运行内存的 Gated DeltaNet）的发展。现有的测试往往聚焦于最困难的案例，但研究人员更需要了解不同架构在各种复杂度下的具体处理能力。StateBench 正是为此设计，通过分级测试来量化不同架构的差异。
四个层级的状态跟踪复杂度
StateBench 将状态跟踪问题划分为四个难度级别，对应不同的变量赋值操作逻辑：
- R-微不足道（R-trivial）：使用不变赋值。变量值永不改变，模型只需恢复初始设定。类比代码中的
x=4或生活中的固定出生日期。 - 无周期性（Aperiodic）：允许值重新分配。模型需找到最近一次赋值的数值，忽略早期值。类比恒温器，最新设置决定当前温度。
- 可解决（Soluble）：添加自我参考更新。每次更新基于当前值进行累加或变换，模型必须累积变化而非仅查找最新赋值。类比比赛分数的累计过程。
- 一般有限（General Finite）：通过引用添加赋值。一个变量接收另一个变量的当前值，形成依赖关系。类比魔术师交换杯子以隐藏球的位置，需追踪连续交换后的最终状态。这是最难层级，属于 S5 状态跟踪问题范畴。
这些层级不仅具有直观的代码类比意义，还基于 Krohn–Rhodes 代数理论提供了形式化依据。每一层级对应一类可由特定原语集合构建的状态跟踪问题。为确保公平比较，四个层级的测试均从相同的有限序列变量赋值出发，保持变量数量、取值范围及赋值出现位置一致，仅改变任务类型。
测试结果分析
预训练模型的表现
研究团队在 StateBench 的 R-trivial、Aperiodic 和 General Finite 层级上测试了一系列开源预训练模型。理论上，Transformer 能稳定处理 R-trivial 及部分 Aperiodic/Soluble 问题，但在 General Finite 问题上预期会失败；而具备灵活内存更新机制的 Gated DeltaNet 原则上可处理所有四个层级。
测试对象包括两种 70 亿参数模型：Olmo 3（纯 Transformer）和 Olmo Hybrid（集成 Gated DeltaNet 层），以及参数量分别为 275 万和 27 亿的较小模型。所有模型均在相同数据上预训练，且训练期间上下文长度未超过 64,000 个符号。
结果显示，几乎所有模型在输入长度增加时仍能较好地完成 R-trivial 任务。值得注意的是，问题格式对性能有显著影响：275 万参数的混合型 DeltaNet 模型在 RULER 式 R-trivial 问题上接近满分，但在以电子表格编辑为框架的同类问题上表现接近随机猜测。这种差异凸显了 StateBench 多形式测试同一根本问题的必要性。
前沿模型的局限
随后，研究测试了四款前沿闭源模型：Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 和 Luna。这些模型被要求读取变量赋值序列并生成最终值。
所有模型在 R-trivial 和 Aperiodic 问题上表现良好。然而，在 Soluble 和 General Finite 问题上，准确率随输入长度急剧下降。在最长的 General Finite 测试中，准确率降至 13% 或更低。这可能源于敏感性增加：在更高难度层级中，更多步骤影响最终答案，模型遗漏任一更新即导致错误。
直接训练下的架构差异
为区分架构限制与预训练数据不足的影响，研究团队从头开始训练了几种 2.75 亿参数的模型，包括两个 Transformer 变种、两个混合型变种以及两个具有不同内存更新限制的 Gated DeltaNet 变种。训练序列长达 256 个任务，测试序列长达 64,000 个任务。
随着序列长度增加，不同架构表现出显著分歧。Transformer 学会了较简单的层级，但在长序列下性能下降，且从未成功学习 General Finite 问题。相比之下，具有灵活内存更新的 Gated DeltaNet 变体在最难层级上表现最佳，其泛化能力可达训练最长序列的 10 倍左右，接近完美精度。
对于 Gated DeltaNet 和混合型模型，性能差距主要归因于训练方式而非架构本身，因为它们的预训练同行未能达到同等水平。而 Transformer 即使经过直接训练，也无法掌握最困难的状态跟踪任务，显示出固有的架构瓶颈。
开放问题与未来方向
目前仍有若干问题待解。新证据表明，具有非负固有值等有限内存更新约束的 Gated DeltaNet 可能解决所有非周期性任务及部分周期性任务（如判断重复输入次数奇偶性）。其在理论层级中的确切定位尚不明确，特别是它能否解决所有 Soluble 任务，以及数值精度或与注意力层结合如何影响其能力。
此外，StateBench 假设变量数量固定，而实际应用中常涉及新实体的动态引入（如长对话中新角色或物体的出现）。当前框架尚未涵盖这一场景。
随着循环和混合架构新变体的涌现，明确各类状态跟踪能力的边界有助于指导未来系统的设计与训练。StateBench 旨在为研究人员提供细粒度工具，以发现模型故障点并构建针对性的训练与评估数据，从而推动新一代架构的开发。
