2025_NIPS_HybridNorm: Towards Stable and Efficient Transformer Training via Hybrid Normalization

文章核心总结与翻译

一、主要内容总结

文章聚焦Transformer训练中归一化策略的权衡问题，提出混合归一化方法HybridNorm，核心是在注意力机制中采用QKV归一化、在前馈网络（FFN）中采用Post-Norm，同时衍生出对首个Transformer块进行特殊处理的HybridNorm∗变体。通过理论分析和大规模实验（覆盖550M到7B参数的稠密模型与MoE模型），验证了该方法在梯度稳定性、训练效率和下游任务性能上的优势，其性能持续优于Pre-Norm、Post-Norm及Mix-LN等传统方法。

二、核心创新点

1. 提出HybridNorm架构：融合Pre-Norm的训练稳定性与Post-Norm的性能优势，注意力机制中对Q、K、V分别归一化，FFN中采用Post-Norm，平衡梯度流动与模型表达能力。
2. 设计HybridNorm∗变体：对首个Transformer块进行特殊处理（MHA和FFN均采用Pre-Norm并保留QKV归一化），进一步提升训练初期梯度稳定性。
3. 理论与实证双重支撑：通过梯度耦合度分析证明QKV归一化可降低权重梯度依赖，避免梯度爆炸/消失；在语言建模、推理等多任务中验证了方法在不同规模模型（稠密/稀疏）上的通用性。

---

三、关键部分翻译（Markdown格式）

Abstract

Transformer已成为众多机器学习任务（尤其是大型语言模型LLMs）的主