Communication-Efficient Language Model Training Scales Reliably and Robustly

文章总结

主要内容

本文研究了通信高效的分布式训练方法DiLoCo在大规模语言模型（LLM）训练中的扩展规律。通过固定计算预算，作者分析了DiLoCo在模型规模、超参数（学习率、批量大小等）和令牌预算下的行为，并提出了扩展定律。实验表明，DiLoCo在模型规模增大时表现出可预测性和鲁棒性，其最优批量大小更大，通信成本更低，且在某些情况下比传统数据并行方法（Data-Parallel）性能更优。

创新点

1. 扩展定律：提出了DiLoCo的损失函数和最优超参数的扩展定律，能够准确预测不同模型规模下的训练效果。
2. 单副本优势：DiLoCo在单副本（M=1）时通过类似Lookahead优化器的机制，在评估损失和批量大小容忍度上优于传统数据并行方法。
3. 通信效率：通过减少同步频率（H=30），DiLoCo的通信量比数据并行减少100倍以上，