大模型面试必备：分布式训练指南，掌握核心技能！

最新推荐文章于 2025-05-22 23:35:30 发布

大模型老炮

最新推荐文章于 2025-05-22 23:35:30 发布

阅读量757

点赞数 13

文章标签：人工智能产品经理程序员大模型 AI大模型大模型面试大模型教程

本文链接：https://blog.youkuaiyun.com/2401_85375151/article/details/146967245

版权

本篇来总结一些分布式训练的知识，还是按照面经的形式给出，希望能给到大家一些帮助。

题目

1 训练一个LLM，需要的显存规模跟参数的关系是什么？

\2. 如果有N张显存足够大的显卡，怎么加速训练？

\3. 如果有N张显卡，但每个显卡显存都不足以装下一个完整的模型，应该怎么办？

\4. PP推理时是串行的，1个GPU计算但其他空闲，有什么其他的优化方式？

\5. DP、TP、PP这3种并行方式可以叠加吗？

\6. 3D并行或者直接上多机多卡的ZeRO的条件是什么？

答案

1. 训练一个LLM，需要的显存跟参数的关系是什么？

主要公式是模型本身占用显存 + 多个batch数据运算的存储，跟实际精度，模型大小、中间变量计算以及batch邮官

2. 如果有N张显存足够大的显卡，怎么加速训练？

数据并行（DP），充分利用多张显卡的算力。

3. 如果有N张显卡，但每个显卡显存都不足以装下一个完整的模型，应该怎么办？

PP，流水线并行，需要分层加载，把不同的层加载到不同的GPU上（accelerate的device_map）

4. PP推理时是串行的，1个GPU计算但其他空闲，有什么其他的优化方式？

流水线并行（PP），横向切分，也就是分层加载到不同的显卡上。
张量并行（TP），纵向切分，在 DeepSpeed 里叫模型并行（MP）

下面来简单梳理一下DP，PP，TP，ZeRO以及其中MP的关系。

DP Data parallelism

数据并行算法在多个设备上都拷贝一份完整的模型参数，彼此之间可以独立计算，所以每个设备传入的输入数据不一样，这也是为什么叫数据并行。

只不过每隔一段时间（比如一个batch或者若干个batch）后需要彼此之间同步模型权重的梯度。

PP Pipeline Parallelism

属于 Model Parallelism (MP)，模型并行算法，它是模型做层间划分，即inter-layer parallelism。

以下图为例，如果模型原本有6层，你想在2个GPU之间运行pipeline，那么每个GPU只要按照先后顺序存3层模型即可。

TP Tensor Parallelism

Tensor Parallelism就是对模型层内做划分，也叫inter-layer parallelism。

就是把一个变量分散到多个设备并共同完成某个或多个计算操作。对于单个 Tensor/Op 很大或者模型很大（如GPT3, chatGPT等）的情况，Tensor parallelism 的重要性非常明显。

在这里插入图片描述

TP最好带入到不同的模型中去学习，比较好的参考是Megatron-LM，这个可以参考【深度学习并行训练算法一锅炖: DDP, TP, PP, ZeRO 】 - https://zhuanlan.zhihu.com/p/581677880 ；另外还有GPT模型训练，这个可以参考【 LLM（六）：GPT 的张量并行化（tensor parallelism）方案】 - https://zhuanlan.zhihu.com/p/603908668 这篇。