2025_NIPS_Don’t be lazy: CompleteP enables compute-efficient deep transformers

文章核心总结与翻译

一、主要内容

本文聚焦大语言模型（LLM）训练的计算效率，研究不同参数化方案（调整模型和优化器超参数的规则）对训练效果的影响。现有方案存在超参数（HP）难以跨深度迁移、模型陷入“惰性学习”（仅学习线性化附近特征）等问题，作者提出CompleteP参数化方案（设置α=1），通过规范残差块输出缩放、LayerNorm（LN）参数、AdamW优化器相关超参数的调整规则，实现深度方向的超参数迁移和全层非惰性学习，最终在50M-1.5B参数模型上实现12%-34%的计算效率提升，同时支持更广泛的宽深比（N:L）组合，适配不同硬件场景。

二、创新点

1. 提出CompleteP参数化方案：唯一实现深度方向超参数（学习率、权重初始化标准差等）稳定迁移的方案，无需重新调优即可适配2-128层的深度变化。
2. 实现全特征学习：通过α=1的设置，确保所有层在宽深缩放时保持非线性，避免惰性学习，充分利用模型深度和非线性能力。
3. 扩展参数化适配现代训练：首次将参数化规则扩展至LN学习率、偏置项、AdamW的权重衰减λ和ϵ，保障Pre-LN+AdamW架构的训练稳定性。
4. 拓宽高效宽深比范围：突破传统N:L≈100的限制，使N:L≈10的深窄模型仍接近计算最优，适配低内存硬件的流式训练需求。

---

三