deepspeed zero3

原创 已于 2023-08-07 22:29:02 修改 · 2.5k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能

于 2023-08-07 22:28:11 首次发布
文章讨论了Zero3的纵向切分策略（intra-layer）及其对通讯时间和训练效率的影响，与Megatron-DeepSpeed的横向pipeline并行（inter-layer）进行对比，强调了megatron的TP和deepspeed的DP和PP在3D并行中的高效性，以及数据并行的优化方法——零冗余优化（ZeroRedundancyOptimizer）。

zero3。它是纵向切分权重（intra-layer，每一层的权重切成n块）。但是这样会增加通讯时间。你可以根据自己的模型，估算下切分后的通讯量和通讯时间。其次，pipeline并行一般指横向切分权重（inter-layer，每一层放在一块卡上，有n层就放n张卡），所以它和zero3的切分不是一个类型的。总结一下，zero3可以帮你切权重，但不是pipeline的那种切法，zero3切分权重后会增加通讯量，进而增加训练时间。

megatron+deepspeed 实现3D并行。效率更高。：megatron提供tp，deepspeed 提供dp和pp。

参考资料：

https://huggingface.co/blog/zh/bloom-megatron-deepspeed

图解大模型训练之：数据并行下篇( DeepSpeed ZeRO，零冗余优化) - 知乎
https://huggingface.co/blog/zh/megatron-training

llama factory运行deepspeed zero3产生stage3_prefetch_bucket_size Input should be a valid integer的解决方案
weixin_43178406的博客
09-04 16万+
本文主要介绍了llama factory运行deepspeed zero3产生stage3_prefetch_bucket_size Input should be a valid integer的解决方案，希望能对使用llama factory的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
deepspeed zero3用offload和不用offload的区别
强化学习曾小健
07-17 744
前几天测试了你们关于llama2 gemini-auto和Deepspeed zero3+offload的性能，今天测试了一下gemini和Deepspeed两边都不开offload的一个性能情况，想跟你们分享一下。readme里面，给的是Deepspeed zero3+offload和colossalai的对比情况，并未给出二者都不开offload 的对比，所以想和你们确认一下这个情况。都要优于Deepspeed的开offload 和不开offload的step time和显存占用情况。
GPU显存碎片化终极解决方案：DeepSpeed-Zero3源码改造指南——自定义内存分配器实现零浪费训练
datacanvas2426的博客
06-11 1210
（Virtual Memory Stitching, VMS）将物理分散的显存块通过虚拟地址连续映射，使碎片显存可被大张量复用，提升可用显存33%。：分配器将大块显存（Segment）拆分为小块（Block）满足请求，释放后形成零散空闲块。：碎片使实际可用显存减少30%-50%，80GB A100仅能加载50B模型。：当显存碎片不再是训练的“阿喀琉斯之踵”，我们离万亿参数民主化便更近一步。：当最大连续块<请求尺寸50%时，全显存紧凑化（仿GMLake VMS）），其价值不仅在于解决显存碎片，更在于推动。
DeepSpeed项目中的ZeRO-3技术深度解析
gitblog_00103的博客
05-30 879
DeepSpeed项目中的ZeRO-3技术深度解析 【免费下载链接】DeepSpeed DeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and ...
LLM-分布式训练工具（一）：DeepSpeed【微软】【大模型分布式训练工具，实现ZeRO并行训练算法】【zero3配置将模型参数切分后分配到不同的显卡中，突破单张显卡容量不足以加载模型参数的限制】
u013250861的博客
06-10 1万+
DeepSpeed是微软推出的大规模模型分布式训练的工具，主要实现了ZeRO并行训练算法。本文是huggingface的DeepSpeed文档的笔记，做查询和备忘，初次学习建议结合原始文档食用。
deepspeed训练zero3策略cpu内存不足报错
weixin_43013480的博客
01-18 3288
大概率是cpu内存不足所致，训练用的zero3策略，将deepspeed的zero3策略换为zero2策略问题就解决了。用deepspeed训练deepseek过程中遇到如下问题，
Deepspeed ZERO原理
weixin_44858814的博客
11-09 1563
数据并行，每张卡上保存完整的模型参数。反向传播时所有卡的梯度通过all-reduce进行同步。假设参数量为ψ，进程数（卡数）为n，通信量为2⋅n−1⋅nψ​≈2ψ。
Deepspeed Zero(DP)
是云就要飞的博客
01-18 2673
如：优化器中使用的随机梯度下降算法SGD中，更新参数的公式：参数 = 参数 - 学习率 * 梯度。
基于vscode调试deepspeed，以及使用zeros3_offload
diehualong的博客
12-12 1999
使用其他优化器可能会报错，因此需要使用DeepSpeedCPUAdam针对cpu的优化器。这里只给出了zero-3的使用方式，deepspeed还包括zero-1和zero-2等方法。首先按照下图所示，新建lauch.json文件。主要需要更改以下三行。
DeepSpeed零冗余优化器Zero Redundancy Optimizer
强化学习曾小健
06-15 4007
DeepSpeed 首先包括 ZeRO-Offload 的卸载功能，ZeRO-Offload 是一种用于将优化器和梯度状态卸载到 ZeRO-2 中的 CPU 内存的系统。ZeRO 通过在分布式训练硬件中的可用设备（GPU 和 CPU）之间划分各种模型训练状态（权重、梯度和优化器状态）来减少每个 GPU 的内存消耗。ZeRO-3 是 ZeRO 的第三个阶段，它对整个模型状态（即权重、梯度和优化器状态）进行分区，以根据数据并行度线性扩展内存节省。注意，在构建层时指定相应的基类，可以将模型并行和平铺结合起来。
DeepSpeed zero1，zero2，zero3和FSDP区别详解
m0_60388871的博客
06-27 3038
ZeRO是由Microsoft DeepSpeed团队开发的一种内存优化技术，旨在通过分片模型状态来训练超大模型，减少每个GPU的内存占用，同时避免传统模型并行（如张量并行或流水线并行）所需的代码修改。ZeRO分为三个阶段（Stage 1、Stage 2、Stage 3），每阶段逐步增加分片的范围，从而进一步降低内存需求。FSDP是PyTorch提供的分布式训练框架，灵感来源于ZeRO Stage 3，专注于将模型参数、梯度和优化器状态分片到多个GPU上，减少内存冗余，同时保持数据并行的简单性。FSDP通过
解决DeepSpeed Zero-3 is not compatible with `low_cpu_mem_usage=True` or with passing a `device_map`.
qq_44817420的博客
07-26 3464
accelerate launch --multi_gpu --mixed_precision=fp16 --num_processes=2 /home/(路径)/train.py。首先尝试了在AutoModelForCausalLM.from_pretrained中加入device_map=“auto”而不是用python命令或者pycharm运行。具体如何在pycharm里运行还不清楚。训练时在自己用的服务器终端输入。微调大模型不知道怎么多卡并行。
DeepSpeed ZeRO-3 内存估算
budahui的博客
09-26 1863
DeepSpeed ZeRO-3 提供了灵活的内存优化选项，允许在不同的硬件配置下高效训练大型模型。理解各参数的作用及其相互影响对于优化训练过程至关重要。在实际应用中，需要根据具体的模型大小、硬件资源和训练需求来选择最合适的配置。
Deepspeed的机制学习以及ZeRO-1、ZeRO-2和ZeRO-3的区别
热门推荐
samoyan的博客,记录技术成长~
03-18 3万+
ZeRO（Zero Redundancy Optimizer）是一种为了解决大规模分布式训练中的内存瓶颈问题而设计的优化器。它通过减少冗余数据来优化模型的内存使用，允许训练更大的模型。ZeRO分为三个优化级别：ZeRO-1、ZeRO-2和ZeRO-3，每个级别都在前一个级别的基础上进一步减少内存占用。ZeRO-1、ZeRO-2和ZeRO-3是递进的优化级别，每个级别都在前一个级别的基础上减少更多的内存冗余。
白话deepspeed里面的ZeRO1,2,3以及affload以及实战演练
qq_50097745的博客
09-20 1万+
微软deepspeed的ZeRO的理解，以及实战
LLM-分布式训练工具01-DeepSpeed：ZeRO-1、ZeRO-2、ZeRO-3配置【DeepSpeed的核心就在于，GPU显存不够，CPU内存来凑】
u013250861的博客
06-13 6079
现在的模型越来越大，动辄几B甚至几百B。但是显卡显存大小根本无法支撑训练推理。例如，一块RTX2090的10G显存，光把模型加载上去，就会OOM，更别提后面的训练优化。作为传统pytorch Dataparallel的一种替代，DeepSpeed的目标，就是为了能够让亿万参数量的模型，能够在自己个人的工作服务器上进行训练推理。本文旨在简要地介绍Deepspeed进行大规模模型训练的核心理念，以及最基本的使用方法。
Deepseed Zero-1, Zero-2, Zero-3
最新发布
feifeikon的博客
08-21 471
DDP存在的问题：在N张卡进行训练，就需要存储N份模型、梯度和优化器参数。设模型参数量为M，采用全精度参数，则需要参数+梯度+优化器=（4+4+8）*M空间。：对优化器状态、梯度和模型参数全部进行分割，前向/反向传播时动态获取其他设备的参数分片（通过。Deepspeed则是在DDP的基础上，采用Zero分片策略。：仅对优化器状态进行分割，每个GPU中仍有完整的模型参数和梯度数据。：对优化器状态和梯度进行分割。
DeepSpeed
银晗的学习博客
09-12 4825
使用DeepSpeed时，首先需要提供一个ds_config文件然后参照上文基础用法，将model用deepspeed.initialize()包装起来deepspeed.initialize()内部会初始化通信，所以就不需要手动调用dist.init_process_group()了（当然也可以手动调用deepspeed.init_distributed()来初始化）
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值