2025_NIPS_Parallel Scaling Law for Language Models

文章核心总结与翻译

一、主要内容

本文提出一种新型语言模型缩放范式——并行缩放（PARSCALE），通过在训练和推理阶段增加并行计算流，而非单纯扩大模型参数或生成 tokens，实现高效性能提升。核心是对输入施加P种可学习变换，并行执行模型前向传播后动态聚合输出，无需改变模型结构或训练数据。实验验证了并行缩放定律：P个并行流的效果等价于参数缩放O(log P)倍，且推理效率更优（如1.6B模型P=8时，内存增长比参数缩放少22倍，延迟增长少6倍）。该方法支持两阶段训练降低成本，可应用于现成预训练模型，还能通过动态调整P适配不同部署场景。

二、创新点

1. 提出全新缩放范式：首次将并行计算作为独立缩放维度，突破参数缩放和推理时token缩放的局限，实现通用高效的性能提升。
2. 建立并行缩放定律：从理论和实验上验证并行流数量与参数缩放的量化关系，揭示计算量对模型能力的关键作用。
3. 高推理效率：复用现有参数，仅增加少量额外参数（每流约0.2%），大幅降低内存和延迟开销，适配低资源边缘部署。
4. 灵活适配性：支持预训练/后训练、全参数/参数高效微调，可动态调整并行流数量，兼容现有模型架构。

---

三、核心部分翻译（Markdown格式）

Abstract

人们普遍认为，语言模型的缩放需要付出巨大的空间或时间成本，要么增加参数（参数缩放），要么增加输出tokens（推理时缩放）。本文提出另