2025_NIPS_Characterizing the Expressivity of Fixed-Precision Transformer Language Models

文章核心总结与创新点

核心内容

本文聚焦固定精度Transformer语言模型的表达能力，通过理论分析与实证验证，明确其表达范围等价于仅含过去算子（P）的线性时序逻辑片段LTL[P]，并建立该片段与形式语言、自动机、代数领域已有概念的关联，最终通过长度泛化实验验证了理论结论的正确性。

关键创新点

1. 首次精准刻画了固定精度、软注意力、严格未来掩码且无位置编码的Transformer表达能力，证明其与LTL[P]完全等价。
2. 建立LTL[P]与部分有序确定性有限自动机（PODFA）、R-平凡幺半群、左确定多项式的等价关系，构建统一理论框架。
3. 扩展分析至Transformer语言模型，证明其表达能力与Transformer识别器一致。
4. 通过严格的长度泛化实验验证理论，证实模型对LTL[P]可定义语言能完美泛化，对超出范围的语言则持续失败。

---

翻译部分（Markdown格式）

Abstract

基于Transformer的语言模型（LMs）已取得广泛的实证成功，但其理论表达能力仍仅被部分理解。本文分析了一种受限的理想固定精度Transformer模型，该模型具有严格未来掩码、软注意力且无位置编码。我们发现这类模型的表达能力恰好等价于线性时序逻辑的一个特定片段——仅包含单个时序算子（过去算子）的片段。我们进一步将该片段与形式语言理论、自动机理论和代数中的已有类别建立关联，为