新闻 · Hugging Face Blog
StateBench：测试语言模型如何在长文档中跟踪状态变化
en
英文原标题：StateBench: Testing how language models track state changes over long documents
本文为英文原文的机器翻译摘要，原文见：Hugging Face Blog ↗
- StateBench 是用于评估语言模型在长文档中跟踪实体状态变化能力的基准，涵盖从简单到复杂的四种难度级别。
- 四个级别基于 Krohn–Rhodes 理论划分：R-trivial（不可变赋值）、Aperiodic（按值重新赋值）、Soluble（自引用更新）和 General finite（按引用赋值，如变量交换）。
- 在预训练模型测试中，几乎所有模型在 R-trivial 上表现良好，但在 Aperiodic 上随输入增长准确率下降，在 General finite 上仅达到随机水平；问题格式（如 RULER 风格 vs. 电子表格编辑）显著影响表现。
- 前沿模型 Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 和 Luna 在 R-trivial 和 Aperiodic 上表现良好，但在 Soluble 和 General finite 上随输入变长准确率急剧下降，最长 General finite 问题上降至 13% 或更低。
- 从零训练 2.75 亿参数模型显示，Gated DeltaNet 和混合模型在 R-trivial、Aperiodic 和 Soluble 上可泛化到数万次赋值，而 Transformer 在较长序列上退化，且从未学会 General finite 问题。
关键数据
- 预训练模型上下文长度不超过 64,000 tokens，测试输入远超该长度。
- 从零训练模型在最多 256 次赋值的序列上训练，测试序列长达 64,000 次赋值，是训练长度的 250 倍。
- 前沿模型在最长 General finite 问题上准确率降至 13% 或更低。
为什么值得看：该基准揭示了不同架构在状态跟踪上的能力差异，为理解长上下文模型的局限和设计更有效的架构提供了依据。