2025_NIPS_Impact of Layer Norm on Memorization and Generalization in Transformers

文章核心总结与创新点

主要内容

本文聚焦层归一化（LayerNorm, LN）在两种Transformer架构（Pre-LN和Post-LN）中对记忆化（Label Memorization）和泛化能力的影响，通过13种模型在6个视觉与语言数据集上的实验验证核心结论：

1. Pre-LN架构：LN是稳定学习的关键，移除其可学习参数会加剧过拟合、破坏学习稳定性，但无法缓解记忆化。
2. Post-LN架构：LN主要影响记忆化，移除其可学习参数能有效抑制记忆化、恢复真实标签，且不影响学习能力。
3. 层级差异：早期层的LN作用最关键，对两种架构的影响远大于中晚期层。
4. 梯度解释：学习梯度范数始终大于记忆化梯度范数，Pre-LN中两者比值显著高于Post-LN，这一差异解释了LN移除后的不同效果。

创新点

1. 首次明确LN在Pre-LN和Post-LN架构中功能的本质差异，打破“LN仅稳定训练”的单一认知。
2. 揭示早期层LN的核心作用，量化其对学习稳定性（Pre-LN）和记忆化抑制（Post-LN）的主导影响。
3. 通过梯度范数分析建立理论支撑，提出并证明3个关键定理，解释LN影响记忆化与学习的内在机制。
4. 验证结果跨模态（视觉+语言）、跨模型、跨噪声比例和优化器，具有强鲁棒性。

---