2025_NIPS_Transformers learn through gradual rank increase

文章核心总结与翻译

一、主要内容

Transformer在训练中呈现增量学习动态，即训练后与初始权重的差值秩会逐步提升。研究通过理论证明（基于对角权重矩阵和小初始化假设）与实验验证（覆盖视觉、语言Transformer，无需简化假设），证实了这一现象：训练分阶段进行，每个阶段先经历损失平台期，随后快速逃离鞍点，权重秩最多增加1；且训练权重与初始权重的差值始终保持低秩特性。

二、创新点

1. 首次揭示Transformer的增量学习动态，证明其训练中权重差值秩逐步提升，突破了以往仅针对线性网络的增量学习分析局限。
2. 提出适用于非线性网络的通用定理，为Transformer的增量动态提供理论支撑，且该定理可扩展至其他依赖参数乘积的网络结构。
3. 发现与LoRA算法的关联——Transformer训练动态天然产生低秩扰动，无需额外施加秩约束，为改进低秩适配算法提供新思路。
4. 实验覆盖ViT、GPT-2等实用模型，验证了小初始化下动态更显著，且该现象在SGD、Adam优化器及不同任务中均稳定存在。

---

三、关键部分翻译（Markdown格式）

Abstract

我们发现了Transformer中的增量学习动态：训练权重与初始权重的差值秩会逐步提升。在对角权重矩阵和小初始化的简化假设下，我们对此进行了严格证明。实验结果支持该理论，且表明即便不满足这些简化假设，该现象在实际场景中依然存在