Deepspeed、ZeRO、FSDP、ZeRO-Offload、all reduce、reduce-scatter

最新推荐文章于 2025-11-02 23:47:07 发布
原创 最新推荐文章于 2025-11-02 23:47:07 发布 · 2.9k 阅读 · 22 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #机器学习

Transformer为基础的大模型应该如何并行

  • 数据并行。但是如果模型太大放不到一块卡上就没用了。为了解决把参数放到一块卡上的问题，演进出了论文Zero的思想，分为Zero-DP和Zero-R两部分。Zero-DP是解决Data parallel的问题，并行过程中内容不够，解决思路也比较简单，模型参数w只存在一台机器上，剩下的部分等用的时候找某台机器通过all-reduce请求就可以了。Zero-R是在每一层输入存不下，解决思想是带宽换内存。由Zero论文演进的Deep-speed框架影响了pytorch分布式计算的接口。
  • 模型并行。典型的是按照GPipe的思路，将模型按层切开，这样会实现像CPU流水线一样并行的设计。
  • 张量并行。典型的是Megatron LM，其实就是将矩阵乘法切开，参考下图：
    在这里插入图片描述

DeepSpeed中参数量的估计

  • 基本问题：在理解ZeRO前需要先理解一个基本问题，对于一个参数量为Φ\PhiΦ的模型，使用Adam优化器单卡进行混合精度训练过程中至少占多大显存？结果是16*

最低0.47元/天 解锁文章
taoqick
关注
Deepspeed并行框架介绍--ZeRO去除冗余的并行方案
丨汀、的博客
11-07 336
Deepspeed并行框架介绍--ZeRO去除冗余的并行方案
DeepSpeed: 大模型微调框架全面解析
专注分享编程开发与技术进阶干货！
04-04 3758
DeepSpeed是由微软开发的开源深度学习优化库，旨在提高大规模模型训练的效率和可扩展性。它专为分布式训练和推理而设计，通过一系列创新技术使得训练和部署超大规模模型。
大模型训练（4）：AllReduce详解
呆呆象呆呆的博客
01-14 5399
分布式深度学习里的通信严重依赖于规则的集群通信，诸如 all-reduce, reduce-scatter, all-gather 等，因此，实现高度优化的集群通信，以及根据任务特点和通信拓扑选择合适的集群通信算法至关重要。如上图所示，一共4个设备，每个设备上有一个矩阵（为简单起见，特意让每一行就一个元素），All-Reduce 操作的目的是，让每个设备上的矩阵里的每一个位置的数值都是所有设备上对应位置的数值之和。当然，冗余量和通信量之间的等价关系不是偶然的，正是因为这些通信才造成了设备之间数据的冗余。
大模型分布式训练方法FDSP和DeepSpeed
胖胖大海的博客
02-23 6843
收集到的完整参数将在计算后立即释放，释放的内存可用于下一层的计算。FSDP是一种数据并行训练，但与传统的数据并行训练不同，传统的数据并行训练在每一片GPU上独立维护模型参数、梯度和优化器状态，FSDP可以在多个worker之间将所有这些状态分片，并可以有选择的将分片的模型参数卸载到cpu上。Scatter与Broadcast非常相似，都是一对多的通信方式，不同的是Broadcast的0号节点将相同的信息发送给所有的节点，而Scatter则是将数据的不同部分，按需发送给所有的节点。
FSDP（Fully Sharded Data Parallel）全分片数据并行详解
最新发布
拒绝AI玄学，只聊真技术▲
11-02 1191
FSDP（Fully Sharded Data Parallel）是，专为设计。它通过上，显著降低了单个 GPU 的显存占用，从而支持用更少的 GPU 训练更大的模型。FSDP 的设计深受微软技术启发，并通过来提升训练效率。目前，FSDP 已集成于 PyTorch 中，成为训练大语言模型（如 Llama 2 70B）的重要工具之一。
带你认识大模型训练关键算法：分布式训练Allreduce算法
华为云官方博客
06-02 2599
摘要：现在的模型以及其参数愈加复杂，仅仅一两张的卡已经无法满足现如今训练规模的要求，分布式训练应运而生。 本文分享自华为云社区《分布式训练Allreduce算法》，原文作者：我抽签必中。 现在的模型以及其参数愈加复杂，仅仅一两张的卡已经无法满足现如今训练规模的要求，分布式训练应运而生。 分布式训练是怎样的？为什么要使用Allreduce算法？分布式训练又是如何进行通信的？本文就带你了解大模型训练所必须的分布式训练Allreduce算法。 通信概念 我们理解计算机的算法都是基于一个一个函数操作组.
AllReduce
Jony0917的专栏
06-28 7083
背景 深度学习领域的关键挑战之一，就是耗时。耗时的原因来自于两个方面，一方面是模型越来越大，参数越来越多，千万甚至数十亿，另一个方面是训练数据量的增多。所以更低的耗时、更快速的实验，对于模型的的开发效率至关重要，使研究者有机会探索更多的超差组合。 分布式深度学习算法是降低耗时问题的重要方法。2017年6月，Facebook发布论文，文中说他们用32台服务器256块GPU，将Resnet-50模型在...
Hugging Face高效训练技术二：大模型分布式训练策略——ZeRO、FSDP
qq_56591814的博客
09-23 7269
介绍了两种大模型分布式训练策略：ZeRO和FSDP。
详解PyTorch FSDP数据并行(Fully Sharded Data Parallel)
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
07-11 1万+
全切片数据并行(Fully Sharded Data Parallel，简称为FSDP)是数据并行的一种新的方式，FSDP最早是在2021年在中提出的，后来合入了PyTorch 1.11版本中。微软之前Deepspeed框架中提出过三种级别的ZERO算法，FSDP可以看成是ZERO-3的实现。传统的数据并行(DDP)是在每一个GPU卡上保存整个model的参数/梯度/优化器状态, 然后对数据集切分为NNN个shard分片给不同的GPU进行训练，计算完梯度后通过all-reduce通信来做梯度的融合。
大模型训练之并行篇-------数据并行DP/张量并行TP/模型并行(层间层内)/流水并行PP/ZeRO Data Parallel/deepspped/FlexFLOW/FSDP
weixin_36378508的博客
03-29 6114
ZeRO-Infinity: Breaking the GPU Memory Wall for Extreme Scale Deep Learning 发表在SC 21，同样是进行offload，ZeRO-Offload更侧重单卡场景，而ZeRO-Infinity则是典型的工业界风格，奔着极大规模训练去了。层间模型并行则是对模型层进行切分，业界也有很多做框架的公司管它叫Pipeline并行，但是我的观点是层间模型并行只有真的流水起来了才能够叫Pipeline并行。典型例子就是1D的Megatron。
关于all_reduce
哦豁灬
03-01 7177
假设每个worker的数据是一个长度为S的向量，那么个Ring AllReduce里，每个worker发送的数据量是O(S)，和worker的数量N无关。一个略优的实现是利用主从式架构，将一个worker设为master，其余所有worker把数据发送给master之后，由master进行整合运算，完成之后再分发给其余worker。AllReduce具体实现的方法有很多种，最单纯的实现方式就是每个worker将自己的数据发给其他的所有worker，然而这种方式存在大量的浪费。
DeepSpeed：DeepSpeed是一个深度学习优化库，可让分布式培训变得轻松，高效，有效
02-04
是一个深度学习优化库，可让分布式培训变得轻松，高效和有效。 10倍大型号 训练速度提高10倍 最小的代码更改 DeepSpeed为所有人提供了极端规模的模型培训，从在大型超级计算机上进行数据科学家培训到在低端群集甚至在单个GPU上进行培训的人员： 极高的规模：使用当前拥有数百个设备的GPU集群，DeepSpeed的3D并行性可以有效地训练具有数万亿参数的深度学习模型。 极高的内存效率：DeepSpeed的ZeRO-Offload仅需一个GPU，即可训练具有超过10B参数的模型，比现有技术大10倍，使数十亿参数的模型训练民主化，从而使许多深度学习科学家可以探索更大更好的模型楷模。 极长的
Baidu All Reduce
weixin_30814329的博客
08-22 575
Baidu All Reduce，即Ring All Reduce。Ring All Reduce技术在高性能计算领域很常用，2017年被百度用于深度学习训练。 朴素All Reduce的通信时间随GPU节点数线性增长。Ring All Reduce的通信时间跟GPU节点数无关，只受限于GPU间最慢的连接。 Ring All Reduce包含两步：scatter reduce和al...
什么是all reduce
yxx122345的博客
09-02 3009
All-Reduce是一种在并行计算和分布式计算中常用的通信操作，用于在多个计算节点（例如 GPU 或 CPU）之间汇总数据。它通常被用在深度学习中的分布式训练过程中，用来整合各个节点上的梯度信息，以便进行参数更新。All-Reduce。
pytorch单精度、半精度、混合精度、单卡、多卡（DP / DDP）、FSDP、DeepSpeed模型训练
胖胖大海的博客
11-17 6648
pytorch单精度、半精度、混合精度、单卡、多卡（DP / DDP）、FSDP、DeepSpeed（环境没搞起来）模型训练代码，并对比不同方法的训练速度以及GPU内存的使用
DeepSpeed zero1，zero2，zero3和FSDP区别详解
m0_60388871的博客
06-27 3186
ZeRO是由Microsoft DeepSpeed团队开发的一种内存优化技术，旨在通过分片模型状态来训练超大模型，减少每个GPU的内存占用，同时避免传统模型并行（如张量并行或流水线并行）所需的代码修改。ZeRO分为三个阶段（Stage 1、Stage 2、Stage 3），每阶段逐步增加分片的范围，从而进一步降低内存需求。FSDP是PyTorch提供的分布式训练框架，灵感来源于ZeRO Stage 3，专注于将模型参数、梯度和优化器状态分片到多个GPU上，减少内存冗余，同时保持数据并行的简单性。FSDP通过
分布式深度学习技术－AllReduce
热门推荐
星辰大海，脚踏实地
12-15 1万+
Hello, I am Yuichiro Ueno. I participated in a summer internship program at PFN in 2017, and I currently work as a part-time engineer. I am an undergraduate student at Tokyo Institute of Technology, a...
DeepSpeed
银晗的学习博客
09-12 4845
使用DeepSpeed时，首先需要提供一个ds_config文件然后参照上文基础用法，将model用deepspeed.initialize()包装起来deepspeed.initialize()内部会初始化通信，所以就不需要手动调用dist.init_process_group()了（当然也可以手动调用deepspeed.init_distributed()来初始化）
deepspeed配合fsdp如何进行多机训练
03-01
<think>嗯，用户想了解如何使用DeepSpeed配合FSDP进行多机训练。首先，我需要确认自己对这两个技术的理解是否正确。FSDP，全称是Fully Sharded Data Parallel，是PyTorch的一个扩展，用于实现模型参数的完全分片，这样可以减少每个GPU的内存占用，支持更大的模型训练。而DeepSpeed是微软开发的优化库，提供了ZeRO（Zero Redundancy Optimizer）等技术，同样是为了高效训练大规模模型。 用户提到的是将DeepSpeed与FSDP结合使用进行多机训练，这可能涉及到两者的协同工作机制。我需要先了解FSDP和DeepSpeed各自的优势以及它们如何互补。FSDP主要通过分片模型参数、梯度和优化器状态来节省内存，而DeepSpeed的ZeRO阶段3也做了类似的事情，但可能在某些方面有不同的实现或优化。 接下来，我需要考虑两者是否可以同时使用，或者是否存在冲突。例如，FSDP是PyTorch原生的，而DeepSpeed有自己的优化器、通信策略和内存管理。如果同时启用，可能会有重复的分片或通信步骤，导致效率降低或错误。因此，可能需要确定如何配置它们以避免冲突。 然后，我需要查阅相关的文档或社区讨论，看看是否有官方推荐的集成方法。例如，Hugging Face的Transformers库支持DeepSpeed和FSDP，可能有相关的配置示例。此外，PyTorch的FSDP文档是否有提到与DeepSpeed的兼容性？ 另外，多机训练的关键点在于正确的分布式设置，比如初始化进程组、设置正确的rank和world_size，以及确保网络通信的正确配置。使用DeepSpeed时通常需要配置一个JSON文件，定义优化器、调度器、ZeRO阶段等参数。而FSDP可能需要通过PyTorch的分布式API进行初始化，并在模型包装时使用FSDP的策略。 可能的步骤包括：初始化分布式环境，使用DeepSpeed的配置启用ZeRO优化，同时使用FSDP对模型进行分片。需要注意两者的分片策略是否重叠，比如如果ZeRO已经分片了优化器状态、梯度和参数，那么FSDP是否还需要做类似的工作，或者是否应该调整FSDP的分片策略以避免重复。 此外，多机训练需要确保各个节点之间的网络连通性，比如正确的NCCL配置，防火墙设置，以及SSH无密码登录等。代码中需要指定master_addr和master_port，确保所有节点能正确连接到主节点。 可能的配置示例包括在启动脚本中使用torchrun或DeepSpeed的启动器，设置正确的节点数和每个节点的GPU数。例如，使用DeepSpeed的deepspeed命令启动训练脚本，并在参数中指定hostfile或包含节点信息的配置。 最后，还需要考虑性能调优，比如选择合适的通信后端（如NCCL），调整分片策略，以及监控内存使用和计算效率，确保两者结合后能有效提升训练速度和模型规模。 总结来说，可能需要以下步骤： 1. 初始化分布式环境，设置正确的rank和world_size。 2. 配置DeepSpeed的JSON文件，启用ZeRO优化，可能与FSDP的分片策略协同。 3. 使用FSDP包装模型，确保分片策略与DeepSpeed的配置互补。 4. 使用DeepSpeed的优化器和训练循环，结合FSDP的模型分片。 5. 多机启动脚本的正确配置，包括节点信息、通信端口等。 需要验证是否存在官方支持的集成方式，或者社区的最佳实践，避免配置冲突导致训练失败。</think>使用 DeepSpeed 配合 FSDP（Fully Sharded Data Parallel）进行多机训练，需要结合两者的分布式优化策略。以下是分步说明和关键配置要点： --- ### **1. 核心概念理解** - **FSDP**（PyTorch 原生）： - 将模型参数、梯度、优化器状态**分片**到所有 GPU。 - 通过 **`torch.distributed`** 通信实现多机协作。 - **DeepSpeed**： - 提供 ZeRO（Zero Redundancy Optimizer）优化（类似 FSDP 的分片机制）。 - 支持显存优化、混合精度、Checkpoint 等高级功能。 --- ### **2. 兼容性说明** - **不推荐同时启用 FSDP 和 DeepSpeed ZeRO-3**： - 两者均会对参数、梯度、优化器状态进行分片，**功能重叠可能导致冲突**。 - 官方建议选择其中一种（优先 DeepSpeed ZeRO-3）。 - **替代方案**： - 使用 **DeepSpeed 的 ZeRO-3** 替代 FSDP，直接实现多机分片。 - 若需 FSDP 的特定功能，可仅用 FSDP + PyTorch DDP（无需 DeepSpeed）。 --- ### **3. 纯 DeepSpeed 多机训练（推荐）** #### **步骤 1：配置文件 (`ds_config.json`)** ```json { "train_batch_size": "auto", "zero_optimization": { "stage": 3, "offload_optimizer": { "device": "cpu" } }, "fp16": { "enabled": true } } ``` #### **步骤 2：训练脚本** ```python import deepspeed from transformers import AutoModel model = AutoModel.from_pretrained("bert-base-uncased") engine, optimizer, _, _ = deepspeed.initialize( model=model, config="ds_config.json" ) # 正常训练循环 for batch in dataloader: loss = engine(batch) engine.backward(loss) engine.step() ``` #### **步骤 3：多机启动命令** ```bash deepspeed --num_gpus 8 --num_nodes 2 --master_addr <MASTER_IP> train.py ``` --- ### **4. FSDP + PyTorch DDP 多机训练** #### **步骤 1：初始化分布式环境** ```python import torch.distributed as dist dist.init_process_group(backend="nccl", init_method="env://") ``` #### **步骤 2：包装模型** ```python from torch.distributed.fsdp import FullyShardedDataParallel model = AutoModel.from_pretrained("bert-base-uncased") model = FullyShardedDataParallel(model) ``` #### **步骤 3：启动命令** ```bash torchrun --nnodes=2 --nproc_per_node=8 --master_addr=<MASTER_IP> train.py ``` --- ### **5. 关键注意事项** 1. **网络配置**： - 确保多机间**低延迟、高带宽网络**。 - 设置 `NCCL_IB_DISABLE=0`（启用 InfiniBand）或调整 `NCCL_SOCKET_IFNAME`。 2. **性能调优**： - 调整 `gradient_accumulation_steps` 平衡显存和通信开销。 - 监控 GPU 利用率（`nvidia-smi` 或 `dcgm`）。 3. **故障排查**： - 检查各节点时间同步（`ntpd`）。 - 确保所有机器防火墙开放相同端口。 --- ### **6. 选择建议** - **优先 DeepSpeed**： - 需要 ZeRO-3、CPU Offload、混合精度等高级功能时。 - **选择 FSDP**： - 需与 PyTorch 生态紧密集成（如自定义模型结构）。 --- 通过合理选择工具链并配置分布式参数，可高效实现百亿参数模型的多机训练。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值