2025_NIPS_Gradient Multi-Normalization for Efficient LLM Training

文章核心总结

主要内容

该研究针对大型语言模型（LLM）训练中“自适应优化器（如Adam）内存开销大、简单一阶方法（如SGD）性能不足”的矛盾，提出了梯度多归一化（gradient multi-normalization） 框架，据此设计了轻量级无状态优化器SinkGD。SinkGD通过交替进行行和列的欧几里得归一化，在保持SGD级内存占用的同时，降低了计算复杂度（仅需O(nm)操作），在LLaMA模型预训练中实现了比Adam更快的收敛（最高3倍有效吞吐量）和更优的困惑度，且内存需求仅为Adam的40%左右。

核心创新点

1. 提出梯度多归一化框架，突破传统单范数归一化局限，通过同时对多个范数进行梯度归一化，统一并扩展了现有无状态优化器（如SWAN是该框架的特例）。
2. 设计交替投影算法，证明其能以任意精度逼近优化问题的不动点，确保梯度满足多范数归一化约束。
3. 实现SinkGD优化器，基于Sinkhorn算法的平方根迭代，仅需行/列归一化操作，计算效率远超SWAN（避免矩阵乘法的高复杂度），在60M-1.3B参数LLaMA模型上验证了性能优势。

译文（Markdown格式）

Abstract

大型语言模型（LLM）的训练通常依赖Adam等自适应优化器，这类优化器通过动