2025_NIPS_Transformers Learn Faster with Semantic Focus

文章核心总结与创新点

主要内容

文章聚焦Transformer中的稀疏注意力机制，跳出传统“提升效率”的研究视角，从“可学习性与泛化能力”切入展开研究。通过实证与理论分析发现：输入依赖型稀疏注意力（如top-k注意力）能让模型收敛更快、泛化效果更优；而输入无关型稀疏注意力（如带状注意力、块局部注意力）无此优势，甚至在缺乏全局令牌时表现力不足。理论层面，文章通过分析softmax的输入稳定性与损失函数的Lipschitz特性，揭示了语义聚焦（输入依赖型稀疏注意力）加速学习的内在机制——其通过优化语义分散度提升softmax稳定性，进而改善模型收敛与泛化保证。

创新点

1. 研究视角创新：首次将稀疏注意力的研究重点从“计算效率”转向“学习性能”，系统对比不同稀疏模式对收敛速度和泛化能力的影响。
2. 实证发现创新：明确输入依赖型（聚焦高注意力分数的“强关联项”）与输入无关型稀疏注意力的性能差异，且该差异在不同架构超参数（注意力头数、Transformer块数）和优化器（SGD、Adam）下保持稳健。
3. 理论支撑创新：建立softmax输入稳定性、语义分散度与模型Lipschitz常数的关联，从数学上证明输入依赖型稀疏注意力的优势条件，为实证结果提供理论解释。

---

英文原文翻译（Markdown格式）

Abstract

各种形式的稀疏注意力已被用于缓解Transformer中注意力机制的二次计算和内存