Sea AI Lab万信逸博士：大模型训练流水线并行四部曲：吞吐、内存、负载均衡与线性扩展

青稞社区：https://qingkeai.online
原文：https://mp.weixin.qq.com/s/dEn2dtadCB9nJTawqJqQHQ

8月5日晚8点，青稞Talk 第67期，Sea AI Lab（新加坡）算法工程师，新加坡国立大学博士生万信逸，将直播分享《大模型训练流水线并行四部曲：吞吐、内存、负载均衡与线性扩展》。

流水线并行是大语言模型训练中的关键技术之一。本期 Talk 将系统介绍 Sea AI Lab 在该方向上的一系列优化工作，覆盖吞吐性能、内存效率、负载均衡与可扩展性等核心挑战。

相关成果已发表于 ICLR、NeurIPS、ICML、MLSys 等顶级学术会议，并广泛应用于 DeepSeek、Llama 等主流开源大模型的训练中，显著提升了训练效率与系统资源利用率。

论文：Zero Bubble Pipeline Parallelism（ICLR 2024）
链接：https://arxiv.org/pdf/2401.10241
代码：https://github.com/sail-sg/zero-bubble-pipeline-parallelism

论文：Pipeline Parallelism with Controllable Memory（NeurlPS 2024）
链接：https://arxiv.org/pdf/2405.15362

论文：Balancing Pipeline Parallelism with Vocabulary Parallelism（MLSys 2025）
链接：https://arxiv.org/pdf/2411.05288
代码：https://github.com/sail-sg/VocabularyParallelism

论文：PipeOffload: Improving Scalability of Pipeline Parallelismwith Memory Optimization（ICML 2025）
链接：https://arxiv.org/pdf/2503.01328

分享嘉宾

万信逸，Sea AI Lab（新加坡）算法工程师，新加坡国立大学博士生，专注机器学习系统领域的创新与突破，主要研究方向包括预训练系统、后训练系统以及算法与系统协同设计。

主题提纲

大模型训练流水线并行四部曲：吞吐、内存、负载均衡与线性扩展

1、大模型训练瓶颈与流水线并行概述
2、Zero Bubble：将气泡几乎降到零的流水线并行算法
3、Vocabulary Parallelism：平衡流水线并行与词汇表并行
4、显存感知的流水线并行：Controllable Memory & PipeOffload
5、关于流水线并行的未来研究探讨

直播时间

8月5日20:00 - 21:00