2025_NIPS_ACCO: Accumulate While You Communicate for Communication-Overlapped Sharded LLM Training

ACCO 论文总结与核心内容翻译

一、文章主要内容

本文针对大规模语言模型（LLM）分布式训练中的内存瓶颈和通信开销两大核心问题，提出了一种名为ACCO（Accumulate While You Communicate）的优化算法。

核心背景

• LLM训练需数千块GPU并行计算，依赖分布式反向传播和梯度优化器（如AdamW），但存在两大痛点：
  1. 内存压力：优化器内部状态占用大量GPU内存，虽有ZeRO等分片技术缓解，但仍受硬件限制；
  2. 通信开销：GPU间梯度和优化器状态同步的时间常超过实际计算时间，且异构硬件、低速互联会加剧这一问题。
• 现有解决方案的缺陷：局部更新方法（如CO₂）虽减少通信，但内存开销极大；延迟参数更新（如DPU）存在一步陈旧性，损害收敛性；通信-计算重叠方法难以兼容优化器分片。

核心方案（ACCO）

ACCO通过“通信时积累”的设计，实现三大目标：

1. 通信-计算重叠：在分片优化器场景下，让梯度计算与参数更新并行执行，减少GPU空闲时间；
2. 延迟补偿：将小批量数据拆分为两阶段计算，用第一阶段估计“下一步参数”，第二阶段用完整批量更新参数，避免延迟更新导致的收敛退化；
3. 兼容性与简洁性：无需额外超参数调优、无预热阶段，兼容分片训练框架，支持异构硬件。