文章核心总结与翻译
一、主要内容
文章聚焦大语言模型(LLM)预训练中的低秩优化问题,针对现有方法中“主导子空间冻结”导致的权重更新受限、性能瓶颈等问题,提出了基于重要性采样的低秩优化方法SARA。通过在子空间选择中引入随机性,SARA能探索更广泛的子空间,同时保证收敛性。实验验证了SARA在LLaMA系列模型(60M-1.1B参数)上的有效性,与GaLore、Fira等方法结合时,最多可减少46.05%的性能差距,且在C4和SlimPajama数据集上均表现稳定。
二、创新点
- 发现核心问题:现有低秩优化方法的主导子空间在预训练后期趋于稳定(冻结),限制权重更新的多样性,形成低秩瓶颈。
- 提出SARA方法:通过与奇异值成比例的重要性采样选择奇异向量,构建低秩子空间,减少相邻子空间重叠,促进子空间探索。
- 理论保障:证明SARA具有可验证的收敛率,与GoLore相当,填补了主导子空间方法缺乏收敛保证的空白。
- 高兼容性与鲁棒性:可无缝集成到GaLore、Fira等现有低秩优化框架,适配Adafactor、Adam-mini等优化器及低精度存储场景。
三、关键部分翻译(Markdown格式)
Abstract
低秩优化已成为实现大语言模型(LLM)内存高效训练的一种极具前景的方法。现有低秩优化方法通常将梯度投影到低秩子空间,以降低存储优化器状态的内存成本。这些方法的核
订阅专栏 解锁全文
1299



被折叠的 条评论
为什么被折叠?



