data parallel, model parallel，GPU显存不足怎么办？动态图显存优化

最新推荐文章于 2024-09-30 17:18:53 发布
最新推荐文章于 2024-09-30 17:18:53 发布
阅读量1.1k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 实验 文章标签： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/stdleohao/article/details/122349132
本文详细介绍了在PyTorch中使用DataParallel和DistributedDataParallel进行分布式训练的过程，探讨了GPU显存不足时的解决方案，并分享了MegEngine动态图显存优化（DTR）的实践经验，为深度学习模型的高效训练提供指导。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

多GPU训练网络模型——数据并行（DataParallel、DistributedDataParallel）
Billie使劲学的博客
07-14 1601
分布式：分布式是指使用多台服务器的多块GPU进行运算，即多机多卡。并行：并行是指使用一台服务器的多个GPU运算，即单机多卡。
torch.nn.DataParallel的多GPU训练导致OOM解决方法
bb8886的博客
06-15 1119
torch.nn.DataParallel的多GPU训练导致OOM解决方法
tf 设置多显卡_深度学习模型训练时如何优化GPU显存？（附TF和Paddle优化方式）...
weixin_39885067的博客
11-21 1062
关注&置顶“Charlotte数据挖掘”每日9:00，干货速递！不知道大家在训练深度学习模型时有没有遇见过这种情况：设置的batch_size明明不大，譬如32或者16，但是怎么一跑模型，GPU的显存就占满了呢？原来我使用Tensorflow的训练的时候发现是这样，后来我使用PaddlePaddle的时候也是这样，我以为是框架本身出了问题，但是仔细研究后才发现，其实这两种框架都是...
Data Parallelism vs. Model Parallelism
ChristineC_的博客
04-22 966
在现在的DNN模型训练中，模型参数和训练数据量都大幅增加，因此需要使用multi-node（GPU） training来进行模型训练优化。 Data Parallelism 一般在batch数据上学习梯度训练模型，这样做的缺点是，因为每次学习到的梯度不一定代表全集梯度，所以模型收敛需要更多的时间。 Data Parallelism的训练过程： 在每一个GPU/Node上，使用相同的模型/参...
pytorch 模型并行 model parallel
LEILEI18A的博客
09-19 8962
pytorch model parallel 模型并行训练 左侧：是网络太大，一张卡存不了，那么拆分，然后进行模型并行训练。 右侧：多个显卡同时采用数据训练网络的副本。 其实还有另一个：组卷积，每个组分到不同的GPU上，这样也可以做到并行。 官方model parallel链接：https://pytorch.org/tuto...
[pytorch] 预训练网络(如timm)使用模型并行(Model Parallel)
qq_38736504的博客
01-25 1113
([pytorch] 预训练网络(如timm)使用模型并行(Model Parallel))
Parallel desktop 更改内存
喵咖的专栏
06-25 8910
关闭虚拟机然后在Parallel Desktop控制中心的设置->硬件->CPU和内存中。 操作其实很简单，但是我为了弄这个折腾了一个小时。。。为什么那，因为我在打开这个界面后出现的是这样的： 然而我当时认为我已经关闭虚拟机了。在网上搜了一大堆后发现，我在控制中心点的那个关机标志是中止centOS，类似于休眠，而不是真正的系统关机。简直被自己蠢哭了。 另外记录下CentOS关...
pytorch多gpu DataParallel 及梯度累加解决显存不平衡和显存不足问题
qq_44846512的博客
03-25 5713
  最近在做图像分类实验时，在4个gpu上使用pytorch的DataParallel 函数并行跑程序，批次为16时会报如下所示的错误：   RuntimeError: CUDA out of memory. Tried to allocate 858.00 MiB (GPU 3; 10.92 GiB total capacity; 10.10 GiB already allocated; 150.69 MiB free; 10.13 GiB reserved in total by PyTorch)   
使用DataParallel和DistributedDataParallel的两种多GPU分布式训练方法包含加载单GPU和多GPU保存的预训练模型权重的迁移学习
leigm
09-15 934
使用DataParallel和DistributedDataParallel的两种多GPU分布式训练方法包含加载单GPU和多GPU保存的预训练模型权重的迁移学习
python运行提示显卡内存不足_Pytorch GPU显存充足却显示out of memory的解决方式
weixin_39890327的博客
12-08 1万+
Pytorch GPU显存充足却显示out of memory的解决方式今天在测试一个pytorch代码的时候显示显存不足，但是这个网络框架明明很简单，用CPU跑起来都没有问题，GPU却一直提示out of memory.在网上找了很多方法都行不通，最后我想也许是pytorch版本的问题，原来我的pytorch版本是0.4.1，于是我就把这个版本卸载，然后安装了pytorch1.1.0，程序就可以...
PyTorch 深度剖析：如何使用模型并行技术 （Model Parallel）
u013119129的博客
11-30 591
模型并行。
Pytorch分布式训练/多卡训练(一) —— Data Parallel并行(DP)
热门推荐
hxxjxw的博客
03-25 1万+
注意 .to(device)就是把数据从内存放到GPU显存
Pytorch 分布式训练DistributedDataParallel （1）概念篇
weixin_43229348的博客
04-14 2144
分布式训练就是指在很多台机器上（每台机器有多个GPU）进行训练，之所以使用分布式训练的原因有两种：第一、模型在一块GPU上放不下；第二、使用多块GPU进行并行计算能够加速训练。但需要注意的是随着使用的GPU数量增加，各个设备之间的通讯会越复杂，导致训练速度下降。 分布式训练主要分为两种类型：数据并行（Data Parallel）和模型并行（Model Parallel）。 1.数据并行（Data Parallel） 当数据量非常大，并且模型架构能够放置在单个GPU上时候，就可以采用数据并行化的方式进行分工合
显存优化综述
qq128252的博客
11-25 1660
因为静态图在编译的时候进行了一些优化，比如改变了代码的计算过程，以利于GPU更好的并行计算，那么想debug看中间结果就很困难了，有时候看到的和期望的可能会有些出入。因为在显存中，tensor 停留的时长是不断在变化的，所以只能在需要释放的时候现场计算最优的 tensor。例如，新的tensor需要100M的显存，为此释放了两个tensor，但是这两个tensor不是连续的，不能被使用，根据释放机制，就会一直释放下去，直到释放出一段连续可用的显存。根据op进行显存池中位置的分配，相同的放在一起。
Pytorch分布式训练/多卡训练(二) —— Data Parallel并行(DDP)(2.1)(基本概念&代码框架)
hxxjxw的博客
08-18 4943
Pytorch官网已经建议使用DistributedDataParallel来代替DataParallel, 因为DistributedDataParallel比DataParallel运行的更快, 然后显存分配的更加均衡. 而且DistributedDataParallel功能更加强悍 DDP与DP的区别 ①DataLoader部分需要使用Sampler，保证不同GPU卡处理独立的子集. ②模型部分使用DistributedDataParallel. DDP的主要代码部分 .......
torch.nn.DataParallel设置了仍然在一块卡上跑的问题
石开的博客
07-28 5306
问题：torch.nn.DataParallel设置之后，仍然在一块GPU上加载直到内存爆掉。 解决： 如果你的model包含encoder1，encoder2，decoder，discriminator等多个结果，应当对每个结构都用torch.nn.DataParallel包裹，而不是只对model进行包裹。 原来（出错）： model = MyModel.MyModel(opt).cuda() model.train() model = torch.nn.DataParallel(model) mode
几种流行的并行方法了解
sunnygirl's house
05-27 2143
虽然相比于1D Tensor并行，2D额外增加了模型权重的通信，但是需要注意的是当GPU数量很多的时候，每个GPU上分配的模型权重就会小很多，而且因为使用的All-reduce通信方式，所以2D也还是要比1D更高效的。假设有 N𝑁个 GPU，tensor维度大小为[P,Q,K][𝑃,𝑄,𝐾]，那么每个chunk的大小即为 [P/3√N,Q/3√N,K/3√N][𝑃/𝑁3,𝑄/𝑁3,𝐾/𝑁3]。随着模型大小不断增大，单个GPU的内存已经无法容纳现如今的大模型，所以便有了后面会介绍的模型并行​。
Pytorch分布式训练/多卡训练(三) —— Model Parallel 模型并行
hxxjxw的博客
08-11 4654
Model Parallel Part of the model on CPU and part on the GPU class DistributedModel(nn.Module): def __init__(self): super().__init__( embedding=nn.Embedding(1000, 10), rnn=nn.Linear(10, 10).to(device), ) ..
模型并行（Model Parallelism）原理详解
日常学习与专研的记录
09-30 2462
本文介绍模型并行（Model Paralleism）原理。
pytorch dataparallel 爆显存
最新发布
12-27
### 解决 PyTorch DataParallel 模式下的显存溢出问题 当遇到 PyTorch 的 `DataParallel` 模式下显存不足的情况时，有多种策略可以帮助缓解这一问题。以下是几种有效的解决方案： #### 使用混合精度浮点数 (FP16) 采用 FP16 可显著减少模型所需的显存量。通过使用自动混合精度工具如 `torch.cuda.amp.autocast()` 和梯度缩放器 `GradScaler` 来实现这一点[^2]。 ```python from torch.cuda.amp import GradScaler, autocast scaler = GradScaler() for input, target in data_loader: optimizer.zero_grad() with autocast(): output = model(input) loss = loss_fn(output, target) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update() ``` #### 减少批量大小 (Batch Size) 降低每次迭代处理的数据量可以直接减轻 GPU 显存的压力。虽然这可能会影响训练速度和最终性能，但在资源有限的情况下是一个可行的选择。 #### 实现分布式数据并行 (Distributed Data Parallel) 相比于 `DataParallel`，`DistributedDataParallel` 提供更高效的多卡训练机制，并能更好地管理每张卡片上的资源分配[^3]。 ```python import torch.distributed as dist from torch.nn.parallel import DistributedDataParallel as DDP def setup(rank, world_size): dist.init_process_group("nccl", rank=rank, world_size=world_size) ... model = YourModel().to(rank) ddp_model = DDP(model, device_ids=[rank]) ``` #### 应用渐进式加载技术 对于非常大的模型或输入尺寸较大的情况，考虑分批次读取部分参数或将某些层移动到 CPU 上计算后再传回 GPU 完成剩余运算。 #### 调整优化算法及其超参设置 适当调整学习率、启用梯度裁剪等措施有助于稳定训练过程中的数值表现，从而间接帮助控制显存消耗[^4]. ```python optimizer = optim.AdamW(model.parameters(), lr=0.001) scheduler = StepLR(optimizer, step_size=30, gamma=0.1) # Apply gradient clipping to prevent exploding gradients nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值