data parallel, model parallel，GPU显存不足怎么办？动态图显存优化

最新推荐文章于 2024-09-30 17:18:53 发布
原创 最新推荐文章于 2024-09-30 17:18:53 发布 · 1.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch

本文详细介绍了在PyTorch中使用DataParallel和DistributedDataParallel进行分布式训练的过程，探讨了GPU显存不足时的解决方案，并分享了MegEngine动态图显存优化（DTR）的实践经验，为深度学习模型的高效训练提供指导。
部署运行你感兴趣的模型镜像

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

tf 设置多显卡_深度学习模型训练时如何优化GPU显存？（附TF和Paddle优化方式）...
weixin_39885067的博客
11-21 1096
关注&置顶“Charlotte数据挖掘”每日9:00，干货速递！不知道大家在训练深度学习模型时有没有遇见过这种情况：设置的batch_size明明不大，譬如32或者16，但是怎么一跑模型，GPU的显存就占满了呢？原来我使用Tensorflow的训练的时候发现是这样，后来我使用PaddlePaddle的时候也是这样，我以为是框架本身出了问题，但是仔细研究后才发现，其实这两种框架都是...
[pytorch] 预训练网络(如timm)使用模型并行(Model Parallel)
qq_38736504的博客
01-25 1167
([pytorch] 预训练网络(如timm)使用模型并行(Model Parallel))
Data Parallelism vs. Model Parallelism
ChristineC_的博客
04-22 1011
在现在的DNN模型训练中，模型参数和训练数据量都大幅增加，因此需要使用multi-node（GPU） training来进行模型训练优化。 Data Parallelism 一般在batch数据上学习梯度训练模型，这样做的缺点是，因为每次学习到的梯度不一定代表全集梯度，所以模型收敛需要更多的时间。 Data Parallelism的训练过程： 在每一个GPU/Node上，使用相同的模型/参...
pytorch 模型并行 model parallel
LEILEI18A的博客
09-19 9059
pytorch model parallel 模型并行训练 左侧：是网络太大，一张卡存不了，那么拆分，然后进行模型并行训练。 右侧：多个显卡同时采用数据训练网络的副本。 其实还有另一个：组卷积，每个组分到不同的GPU上，这样也可以做到并行。 官方model parallel链接：https://pytorch.org/tuto...
Parallel desktop 更改内存
喵咖的专栏
06-25 8952
关闭虚拟机然后在Parallel Desktop控制中心的设置->硬件->CPU和内存中。 操作其实很简单，但是我为了弄这个折腾了一个小时。。。为什么那，因为我在打开这个界面后出现的是这样的： 然而我当时认为我已经关闭虚拟机了。在网上搜了一大堆后发现，我在控制中心点的那个关机标志是中止centOS，类似于休眠，而不是真正的系统关机。简直被自己蠢哭了。 另外记录下CentOS关...
pytorch多gpu DataParallel 及梯度累加解决显存不平衡和显存不足问题
qq_44846512的博客
03-25 5897
  最近在做图像分类实验时，在4个gpu上使用pytorch的DataParallel 函数并行跑程序，批次为16时会报如下所示的错误：   RuntimeError: CUDA out of memory. Tried to allocate 858.00 MiB (GPU 3; 10.92 GiB total capacity; 10.10 GiB already allocated; 150.69 MiB free; 10.13 GiB reserved in total by PyTorch)   
PyTorch 使用DataParallel()实现多GPU训练
不忘初心~
08-22 1万+
PyTorch 使用DataParallel()实现多GPU训练
使用DataParallel和DistributedDataParallel的两种多GPU分布式训练方法包含加载单GPU和多GPU保存的预训练模型权重的迁移学习
leigm
09-15 1079
使用DataParallel和DistributedDataParallel的两种多GPU分布式训练方法包含加载单GPU和多GPU保存的预训练模型权重的迁移学习
DataParallel里为什么会显存不均匀以及如何解决
zenRRan的博客
12-13 1061
作者：台运鹏 (正在寻找internship...)主页：https://yunpengtai.top鉴于网上此类教程有不少模糊不清，对原理不得其法，代码也难跑通，故而花了几天细究了一下相关原理和实现，欢迎批评指正！关于此部分的代码，可以去https://github.com/sherlcok314159/dl-tools查看「在开始前，我需要特别致谢一下一位挚友，他送了我双显卡的机器来赞助我做个...
PyTorch多GPU训练实现详解：DataParallel与DistributedDataParallel
若存在多个 GPU，则使用 `nn.DataParallel(model)` 将模型包装为可并行处理的形式。这一操作会自动将原始模型复制到所有可用的 GPU 上，并按照输入数据的 batch size 自动划分 mini-batch 数据至各个 GPU 设备上执行...
PyTorch 深度剖析：如何使用模型并行技术 （Model Parallel）
u013119129的博客
11-30 611
模型并行。
Pytorch分布式训练/多卡训练(一) —— Data Parallel并行(DP)
热门推荐
hxxjxw的博客
03-25 1万+
注意 .to(device)就是把数据从内存放到GPU显存
Pytorch 分布式训练DistributedDataParallel （1）概念篇
weixin_43229348的博客
04-14 2308
分布式训练就是指在很多台机器上（每台机器有多个GPU）进行训练，之所以使用分布式训练的原因有两种：第一、模型在一块GPU上放不下；第二、使用多块GPU进行并行计算能够加速训练。但需要注意的是随着使用的GPU数量增加，各个设备之间的通讯会越复杂，导致训练速度下降。 分布式训练主要分为两种类型：数据并行（Data Parallel）和模型并行（Model Parallel）。 1.数据并行（Data Parallel） 当数据量非常大，并且模型架构能够放置在单个GPU上时候，就可以采用数据并行化的方式进行分工合
显存优化综述
qq128252的博客
11-25 1838
因为静态图在编译的时候进行了一些优化，比如改变了代码的计算过程，以利于GPU更好的并行计算，那么想debug看中间结果就很困难了，有时候看到的和期望的可能会有些出入。因为在显存中，tensor 停留的时长是不断在变化的，所以只能在需要释放的时候现场计算最优的 tensor。例如，新的tensor需要100M的显存，为此释放了两个tensor，但是这两个tensor不是连续的，不能被使用，根据释放机制，就会一直释放下去，直到释放出一段连续可用的显存。根据op进行显存池中位置的分配，相同的放在一起。
Pytorch分布式训练/多卡训练(二) —— Data Parallel并行(DDP)(2.1)(基本概念&代码框架)
hxxjxw的博客
08-18 5128
Pytorch官网已经建议使用DistributedDataParallel来代替DataParallel, 因为DistributedDataParallel比DataParallel运行的更快, 然后显存分配的更加均衡. 而且DistributedDataParallel功能更加强悍 DDP与DP的区别 ①DataLoader部分需要使用Sampler，保证不同GPU卡处理独立的子集. ②模型部分使用DistributedDataParallel. DDP的主要代码部分 .......
torch.nn.DataParallel设置了仍然在一块卡上跑的问题
石开的博客
07-28 5384
问题：torch.nn.DataParallel设置之后，仍然在一块GPU上加载直到内存爆掉。 解决： 如果你的model包含encoder1，encoder2，decoder，discriminator等多个结果，应当对每个结构都用torch.nn.DataParallel包裹，而不是只对model进行包裹。 原来（出错）： model = MyModel.MyModel(opt).cuda() model.train() model = torch.nn.DataParallel(model) mode
几种流行的并行方法了解
sunnygirl's house
05-27 2708
虽然相比于1D Tensor并行，2D额外增加了模型权重的通信，但是需要注意的是当GPU数量很多的时候，每个GPU上分配的模型权重就会小很多，而且因为使用的All-reduce通信方式，所以2D也还是要比1D更高效的。假设有 N𝑁个 GPU，tensor维度大小为[P,Q,K][𝑃,𝑄,𝐾]，那么每个chunk的大小即为 [P/3√N,Q/3√N,K/3√N][𝑃/𝑁3,𝑄/𝑁3,𝐾/𝑁3]。随着模型大小不断增大，单个GPU的内存已经无法容纳现如今的大模型，所以便有了后面会介绍的模型并行​。
Pytorch分布式训练/多卡训练(三) —— Model Parallel 模型并行
hxxjxw的博客
08-11 4812
Model Parallel Part of the model on CPU and part on the GPU class DistributedModel(nn.Module): def __init__(self): super().__init__( embedding=nn.Embedding(1000, 10), rnn=nn.Linear(10, 10).to(device), ) ..
模型并行（Model Parallelism）原理详解
最新发布
日常学习与专研的记录
09-30 2852
本文介绍模型并行（Model Paralleism）原理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值