2025_NIPS_How Does Sequence Modeling Architecture Influence Base Capabilities of Pre-trained

文章核心总结与翻译

一、主要内容

本文聚焦序列建模架构对预训练语言模型基础能力的影响，核心围绕“如何避免基础能力退化”展开研究：

1. 现有问题指出：传统混合域预训练设置无法揭示不同架构的基础能力差异，且Mamba、RWKV等新兴有状态序列建模架构虽在效率上优于Transformer，但在检索、复制等任务中存在缺陷，进而提出疑问——其局限性是否延伸至基础能力？
2. 评估框架设计：提出“有限域预训练+分布外（OOD）测试”框架，通过在SlimPajama数据集的部分域预训练、未见过的域测试，成功在预训练早期揭示不同架构的基础能力差异。
3. 架构因素分析：通过消融实验和组件分析，发现数据依赖衰减、卷积、位置编码等仅影响收敛速度，而全序列可见性、真实关系计算、非均匀分布是决定基础能力的关键因素，进而总结核心设计原则——序列建模架构需具备“全序列任意选择能力”以避免基础能力退化。
4. 架构验证与扩展：设计极简的Top-1元素选择架构，验证该原则的有效性（其基础能力接近Transformer++）；进一步扩展为更实用的Top-1块选择架构，通过GPU内核优化效率，在短序列（2k）和长序列（100k）任务中均优于有状态架构，且保持效率竞争力。

二、创新点

1. 提出“有限域预训练+OOD测试”框架，解决了混合域设置下无法区分架构基础能力的问题，为架构分析提供