2025_NIPS_Power Lines: Scaling Laws for Weight Decay and Batch Size in LLM Pre-training

文章核心总结与翻译

一、主要内容

文章聚焦LLM预训练中超参数（权重衰减λ、批量大小B）的缩放规律，通过大规模实证研究（训练约400个LLM模型），揭示了模型规模N、数据集规模D与超参数间的量化关系，最终提供了超参数选择方法及训练时间与计算成本的帕累托优化方案。

核心发现

1. AdamW时间尺度τ的缩放规律：最优τ随令牌-参数比（TPP=D/N）呈幂律下降（τ_opt = 1.084×TPP^-0.527），据此可提前预测任意N、D、B下的最优权重衰减λ_opt。
2. 批量大小的缩放规律：最优批量大小B_opt（最小损失对应的B）和临界批量大小B_crit（数据并行性失效的临界点）均随D呈幂律缩放（B_opt=0.0306×D^{0.383，B_crit=0.0471×D_min}0.462），与N无关。
3. 超参数调整优先级：调整λ比调整学习率η更适合批量大小缩放，能更稳定维持最优τ，且训练效果更优。
4. 帕累托最优训练配置：过度训练（TPP>20）的小型模型在训练速度和并行性上更具优势，可通过B_crit规律平衡训练时间与计算成本。

二、创新点

1. 首次大规模实证研究LLM中权重衰减λ随N、D、B的缩放规律，建立了基于AdamW时间尺度的统一超参数框架。
2. 提出不依赖学习率调度或优