2025_NIPS_Pre-RMSNorm and Pre-CRMSNorm Transformers: Equivalent and Efficient Pre-LN Transformers

一、文章主要内容总结

该研究聚焦Transformer中的归一化技术（LayerNorm与RMSNorm）差异，旨在统一主流Pre-LN Transformer架构并提升效率。核心内容如下：

1. 背景与问题：LayerNorm（平移+缩放）和RMSNorm（仅缩放）是Transformer中两种关键归一化技术，前者在经典模型（如GPT、ViT）中广泛应用，后者因计算高效在近年大模型（如LLaMA、Chinchilla）中流行，但二者难以直接转换，且RMSNorm的表征能力存疑，学界尚未形成统一偏好。
2. 核心发现：Pre-LN Transformer主分支向量的均值信息存在冗余——由于主分支向量使用前必经过归一化，均值信息不影响模型功能，可通过中心化处理将LayerNorm简化为RMSNorm。
3. 模型提出：
   • 提出Pre-RMSNorm Transformer：通过中心化主分支向量、调整残差分支的权重和偏置，将Pre-LN的LayerNorm替换为RMSNorm，保持算术等价性。
   • 提出Pre-CRMSNorm Transformer：基于零均值向量的无损压缩，将输入维度从(d)降至(d-1)，进一步提升效率。
4. 关键结论：Pre-LN、Pre-RMSNorm、Pre-CRMSNorm三者在训练和推理阶段完全等价，无需微调或校准即可无缝替换；实验验证，新架构能将P