deepspeed zero3

已于 2023-08-07 22:29:02 修改
阅读量2.3k 收藏 1
点赞数
CC 4.0 BY-SA版权
文章标签： 深度学习 人工智能
于 2023-08-07 22:28:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hahachenchen789/article/details/132156513
文章讨论了Zero3的纵向切分策略（intra-layer）及其对通讯时间和训练效率的影响，与Megatron-DeepSpeed的横向pipeline并行（inter-layer）进行对比，强调了megatron的TP和deepspeed的DP和PP在3D并行中的高效性，以及数据并行的优化方法——零冗余优化（ZeroRedundancyOptimizer）。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

zero3。它是纵向切分权重（intra-layer，每一层的权重切成n块）。但是这样会增加通讯时间。你可以根据自己的模型，估算下切分后的通讯量和通讯时间。其次，pipeline并行一般指横向切分权重（inter-layer，每一层放在一块卡上，有n层就放n张卡），所以它和zero3的切分不是一个类型的。总结一下，zero3可以帮你切权重，但不是pipeline的那种切法，zero3切分权重后会增加通讯量，进而增加训练时间。

megatron+deepspeed 实现3D并行。效率更高。：megatron提供tp，deepspeed 提供dp和pp。

参考资料：

https://huggingface.co/blog/zh/bloom-megatron-deepspeed

图解大模型训练之：数据并行下篇( DeepSpeed ZeRO，零冗余优化) - 知乎
https://huggingface.co/blog/zh/megatron-training

llama factory运行deepspeed zero3产生stage3_prefetch_bucket_size Input should be a valid integer的解决方案
weixin_43178406的博客
09-04 16万+
本文主要介绍了llama factory运行deepspeed zero3产生stage3_prefetch_bucket_size Input should be a valid integer的解决方案，希望能对使用llama factory的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
deepspeed zero3用offload和不用offload的区别
强化学习曾小健
07-17 643
前几天测试了你们关于llama2 gemini-auto和Deepspeed zero3+offload的性能，今天测试了一下gemini和Deepspeed两边都不开offload的一个性能情况，想跟你们分享一下。readme里面，给的是Deepspeed zero3+offload和colossalai的对比情况，并未给出二者都不开offload 的对比，所以想和你们确认一下这个情况。都要优于Deepspeed的开offload 和不开offload的step time和显存占用情况。
deepspeed训练zero3策略cpu内存不足报错
weixin_43013480的博客
01-18 3009
大概率是cpu内存不足所致，训练用的zero3策略，将deepspeed的zero3策略换为zero2策略问题就解决了。用deepspeed训练deepseek过程中遇到如下问题，
LLM-分布式训练工具（一）：DeepSpeed【微软】【大模型分布式训练工具，实现ZeRO并行训练算法】【zero3配置将模型参数切分后分配到不同的显卡中，突破单张显卡容量不足以加载模型参数的限制】
u013250861的博客
06-10 9538
DeepSpeed是微软推出的大规模模型分布式训练的工具，主要实现了ZeRO并行训练算法。本文是huggingface的DeepSpeed文档的笔记，做查询和备忘，初次学习建议结合原始文档食用。
GPU显存碎片化终极解决方案：DeepSpeed-Zero3源码改造指南——自定义内存分配器实现零浪费训练
最新发布
datacanvas2426的博客
06-11 794
（Virtual Memory Stitching, VMS）将物理分散的显存块通过虚拟地址连续映射，使碎片显存可被大张量复用，提升可用显存33%。：分配器将大块显存（Segment）拆分为小块（Block）满足请求，释放后形成零散空闲块。：碎片使实际可用显存减少30%-50%，80GB A100仅能加载50B模型。：当显存碎片不再是训练的“阿喀琉斯之踵”，我们离万亿参数民主化便更近一步。：当最大连续块<请求尺寸50%时，全显存紧凑化（仿GMLake VMS）），其价值不仅在于解决显存碎片，更在于推动。
DeepSpeed项目中的ZeRO-3技术深度解析
gitblog_00103的博客
05-30 454
DeepSpeed项目中的ZeRO-3技术深度解析 什么是ZeRO优化器？ ZeRO（Zero Redundancy Optimizer）是一种革命性的内存优化技术，它通过消除数据并行过程中的内存冗余，显著提升了大规模模型训练的效率和可行性。与传统数据并行方式不同，ZeRO不再在各个GPU上复制完整的模型状态，而是将模型状态（包括优化器状态、梯度和参数）进行智能分区。 ZeRO的三个阶段 ZeRO...
Deepspeed ZERO原理
weixin_44858814的博客
11-09 1132
数据并行，每张卡上保存完整的模型参数。反向传播时所有卡的梯度通过all-reduce进行同步。假设参数量为ψ，进程数（卡数）为n，通信量为2⋅n−1⋅nψ​≈2ψ。
LLaMA-Factory 单卡3080*2 deepspeed zero3 微调Qwen2.5-7B-Instruct
Mooczx的博客
12-20 1046
LLaMA-Factory 单卡3080*2 deepspeed zero3 微调Qwen2.5-7B-Instruct
Deepspeed的zero2和zero3的配置文件Demo
大模型天花板
02-09 756
使用下面这个文件，在8*H100的机器上训练了Qwen2.5-32B模型。上下文窗口8K，batch_size = 8（num_gpu）*2（per_gpu_batch_size）*8(gradient_accumulation_steps) =128，deepspeed采用zero3，显存占用约65G，内存占用约653G（还有数据占的显存，数据量为0.06B tokens），训练时长2 hour。使用下面这个文件，在8*H100的机器上训练了Qwen2.5-7B模型。
基于vscode调试deepspeed，以及使用zeros3_offload
diehualong的博客
12-12 1733
使用其他优化器可能会报错，因此需要使用DeepSpeedCPUAdam针对cpu的优化器。这里只给出了zero-3的使用方式，deepspeed还包括zero-1和zero-2等方法。首先按照下图所示，新建lauch.json文件。主要需要更改以下三行。
DeepSpeed零冗余优化器Zero Redundancy Optimizer
强化学习曾小健
06-15 3833
DeepSpeed 首先包括 ZeRO-Offload 的卸载功能，ZeRO-Offload 是一种用于将优化器和梯度状态卸载到 ZeRO-2 中的 CPU 内存的系统。ZeRO 通过在分布式训练硬件中的可用设备（GPU 和 CPU）之间划分各种模型训练状态（权重、梯度和优化器状态）来减少每个 GPU 的内存消耗。ZeRO-3 是 ZeRO 的第三个阶段，它对整个模型状态（即权重、梯度和优化器状态）进行分区，以根据数据并行度线性扩展内存节省。注意，在构建层时指定相应的基类，可以将模型并行和平铺结合起来。
解决DeepSpeed Zero-3 is not compatible with `low_cpu_mem_usage=True` or with passing a `device_map`.
qq_44817420的博客
07-26 3318
accelerate launch --multi_gpu --mixed_precision=fp16 --num_processes=2 /home/(路径)/train.py。首先尝试了在AutoModelForCausalLM.from_pretrained中加入device_map=“auto”而不是用python命令或者pycharm运行。具体如何在pycharm里运行还不清楚。训练时在自己用的服务器终端输入。微调大模型不知道怎么多卡并行。
DeepSpeed ZeRO-3 内存估算
budahui的博客
09-26 1344
DeepSpeed ZeRO-3 提供了灵活的内存优化选项，允许在不同的硬件配置下高效训练大型模型。理解各参数的作用及其相互影响对于优化训练过程至关重要。在实际应用中，需要根据具体的模型大小、硬件资源和训练需求来选择最合适的配置。
Deepspeed的机制学习以及ZeRO-1、ZeRO-2和ZeRO-3的区别
热门推荐
samoyan的博客,记录技术成长~
03-18 2万+
ZeRO（Zero Redundancy Optimizer）是一种为了解决大规模分布式训练中的内存瓶颈问题而设计的优化器。它通过减少冗余数据来优化模型的内存使用，允许训练更大的模型。ZeRO分为三个优化级别：ZeRO-1、ZeRO-2和ZeRO-3，每个级别都在前一个级别的基础上进一步减少内存占用。ZeRO-1、ZeRO-2和ZeRO-3是递进的优化级别，每个级别都在前一个级别的基础上减少更多的内存冗余。
白话deepspeed里面的ZeRO1,2,3以及affload以及实战演练
qq_50097745的博客
09-20 1万+
微软deepspeed的ZeRO的理解，以及实战
LLM-分布式训练工具01-DeepSpeed：ZeRO-1、ZeRO-2、ZeRO-3配置【DeepSpeed的核心就在于，GPU显存不够，CPU内存来凑】
u013250861的博客
06-13 5770
现在的模型越来越大，动辄几B甚至几百B。但是显卡显存大小根本无法支撑训练推理。例如，一块RTX2090的10G显存，光把模型加载上去，就会OOM，更别提后面的训练优化。作为传统pytorch Dataparallel的一种替代，DeepSpeed的目标，就是为了能够让亿万参数量的模型，能够在自己个人的工作服务器上进行训练推理。本文旨在简要地介绍Deepspeed进行大规模模型训练的核心理念，以及最基本的使用方法。
DeepSpeed
银晗的学习博客
09-12 4521
使用DeepSpeed时，首先需要提供一个ds_config文件然后参照上文基础用法，将model用deepspeed.initialize()包装起来deepspeed.initialize()内部会初始化通信，所以就不需要手动调用dist.init_process_group()了（当然也可以手动调用deepspeed.init_distributed()来初始化）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值