2025_NIPS_Critical Batch Size Revisited: A Simple Empirical Approach to Large-Batch Language Model T

一、文章主要内容总结

本文围绕大型语言模型（LLM）训练中的关键批次大小（Critical Batch Size, CBS） 展开研究，核心解决“大批次训练提升效率但可能损害性能”的核心矛盾，具体内容如下：

1. 背景与问题：大批次训练能提升LLM训练吞吐量，但超CBS会导致损失恶化；传统基于梯度噪声规模（gradient noise scale）的CBS估计方法依赖强假设（如SGD优化器、梯度良好条件），在实际LLM训练（常用Adam优化器）中可靠性不足。
2. 核心研究目标：
   • 提出无需强假设的CBS直接测量方法；
   • 探究训练过程中CBS的演化规律及模型规模对其的影响；
   • 基于CBS特性设计高效的大批次训练策略。
3. 关键发现：
   • CBS演化规律：初始化时接近0，训练初期快速增长，随后趋于平稳（约4096文档，每文档4096token）；
   • 模型规模无关性：1B和7B参数的OLMo模型CBS演化趋势一致，小规模模型的CBS测量可指导大规模训练；
   • 梯度噪声规模的局限性：其对CBS的估计偏差达数个数量级，且趋势不匹配（尤其7B模型），无法作为可靠代理。
4. 应用与验证：基于CBS演化规律提出批次大小预热（batch size warmup） 策略——训