2025_NIPS_Extrapolation by Association: Length Generalization Transfer in Transformers

一、文章主要内容总结

该研究聚焦Transformer模型的长度泛化能力（即从短输入向长输入外推的能力），核心探究“通过关联外推（Extrapolation by Association）”机制——即相关任务间的长度泛化能力可迁移。具体内容如下：

1. 研究背景：Transformer模型在自然语言领域表现出强大泛化能力，但对其长度泛化的内在机制缺乏细粒度理解，现有研究多依赖架构修改或位置编码优化，未充分关注任务关联的作用。
2. 核心实验设计：
   • 构建三类算法任务（算术运算、字符串操作、迷宫导航），每组任务包含“短训练长度的主任务”和“长训练长度的辅助任务”（任务间具有算法关联性）。
   • 对比“单独训练主任务”与“主任务+辅助任务联合训练”的长度泛化效果，同时验证预训练模型的迁移能力及控制任务（无关任务）的影响。
3. 关键发现：
   • 联合训练时，主任务可继承辅助任务的长度泛化范围，而单独训练则无法突破训练长度限制；
   • 预训练语言模型（如SmolLM）的自然语言预训练可作为“隐性辅助任务”，提升下游合成任务的长度泛化能力；
   • 长度泛化迁移的关键是任务关联性（无关任务无迁移效果），且与注意力头的跨任务复用相关；
   • 旋转位置编码（RoPE）比无位置编码（NoPE）更利于跨任务长度泛化迁移，辅助与主任务长度比在0.5-2时迁移效果最优。