pytorch 单机多GPU训练RNN遇到的问题

最新推荐文章于 2024-06-22 09:50:43 发布
原创 最新推荐文章于 2024-06-22 09:50:43 发布 · 859 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #pytorch #rnn #python

本文深入探讨使用DataParallel进行多GPU训练时常见的两大问题：模型无法识别自定义模块及隐藏状态未正确分配至多GPU。文章详细解释了问题成因，并提供了解决方案，包括如何正确访问封装后的模型属性及在RNN网络中确保状态张量按GPU数量正确拆分。

在使用DataParallel训练中遇到的一些问题。

1.模型无法识别自定义模块。

preview

如图示，会出现如AttributeError: 'DataParallel' object has no attribute 'xxx'的错误。

原因：在使用net = torch.nn.DataParallel(net)之后，原来的net会被封装为新的net的module属性里。

解决方案：所有在net = torch.nn.DataParallel(net)后调用了不是初始化与forward的属性，需要将net替换为net.module。

2.隐藏状态不被拆分到多GPU里。

这种错误常出现在RNN以及衍生网络的训练中，原因是这种网络的定义常常使用两个nn.module类。其中一个是RNN，一个是RNNcell。

错误的形式为RNN的前向传播中的张量维度错误，具体来说是输入的无标签数据被按照batchsize与使用的GPU数量拆分到了不同的GPU中而隐藏状态与细胞状态没有。通常情况下，每个GPU计算batchsize/GPU数量的数据。但是由于使用了RNNcell类的形式,会定义self.cellstate与self.hiddenstate作为RNN类的属性。

原因：在使用DataParallel时，pytorch会把forward函数参数里同一个batch的数据拆分到不同GPU里，而不会拆分形如self.xx的类的属性拆分掉。如果检查属性量的device，可以发现它们初始化在cuda：0中后没有改变设备号。

解决方案：所有需要拆分的量，在forward函数中作为形参与返回值。在RNN中，要注意的问题还有一些。比如为了解决这个问题，隐藏状态常常被optimizer每次传入RNN的forward。此时，隐藏状态的初始化要在每一个epoch的开始，而不可以和optimizer在一起。这一细节问题网络上有的资料没有避免。

参考资料：

https://www.zhihu.com/question/67726969

https://link.zhihu.com/?target=https%3A//senyang-ml.github.io/2019/07/20/pytorch-multigpu/

https://link.zhihu.com/?target=https%3A//blog.youkuaiyun.com/yuuyuhaksho/article/details/87560640

 

 

pytorch使用DataParallel进行GPU并行训练，以及AttributeError: 'DataParallel' object has no attribute '**'错误的解决
MarrieChen的博客
05-07 4977
请让模型奔跑 首先由于GPU暂时没有爆显存的担心，主要是想把程序尽快跑起来，所以参考了https://zhuanlan.zhihu.com/p/86441879的方法，在他的文章中，不仅对单机多GPU的情况进行了介绍，同时也给出了平衡显存的方法，以及多机多GPU的方法，并且介绍很简洁易懂。 在我的程序中，主要用到的是最简单的情况，步骤如下： 使用单机多卡进行训练，设置程序可见的GPU编号： ...
LSTM多GPU训练、pytorch 多GPU 数据并行模式踩坑日记， LSTM, nn.DataParallel()
目标：NLP算法工程师
05-12 3487
LSTM多GPU训练 pytorch 多GPU 数据并行模式踩坑日记 多GPU训练时遇到的BUG解决方法
Pytorch单GPU改多GPU跑BERT可能会踩的坑
刺无名客的博客
11-20 2475
好吧，略微有些标题党，其实就算不用bert，只要是pytorch多GPU并行跑，都容易猜到一些坑，所以在此科普一下 一、单GPU改多GPU 直接上代码： 模型中指定device device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu') #模型中指定device，一般cuda后面的数字认为是你使用的...
pytorch使用多GPU
fancy_EUEU的博客
12-25 1208
# 查看几块GPU import torch print(torch.cuda.device_count()) # 查看显卡配置信息 nvidia-smi # 单主机多块GPU使用 device = torch.device("cuda:0" if torch.cuda.is_avaliable() else :"cpu") device0 = torch.device("cuda:0") device1 = torch.device("cuda:1") net = torch.nn.DataPar.
pytorch多机多卡分布式训练
weixin_44019216的博客
05-18 4920
pytorch多机多卡分布式训练欢迎使用Markdown编辑器新的改变 欢迎使用Markdown编辑器 import torch.distributed as dist from torch.utils.data.distributed import DistributedSampler from torch.nn.parallel import DistributedDataParallel dist.init_process_group(backend='nccl', init_method=args
Pytorch分布式训练/多卡训练(三) —— Model Parallel 模型并行
hxxjxw的博客
08-11 4825
Model Parallel Part of the model on CPU and part on the GPU class DistributedModel(nn.Module): def __init__(self): super().__init__( embedding=nn.Embedding(1000, 10), rnn=nn.Linear(10, 10).to(device), ) ..
【分布式训练新探索】：PyTorch多GPU数据并行化的策略秘籍
PyTorch多GPU训练概述 在现代机器学习中，深度学习模型通常具有大量的参数和计算需求，单GPU训练往往无法满足这些需求，尤其是在处理大规模数据集和复杂的模型时。使用多GPU训练不仅可以缩短训练时间，还能扩展...
Pytorch 分布式训练（DP/DDP）
热门推荐
ytusdc的博客
12-23 3万+
1、分布式训练：模型并行和数据并行 分布式训练根据并行策略的不同，可以分为模型并行和数据并行。 模型并行：是网络太大，一张卡存不了，那么拆分，然后进行模型并行训练。 数据并行：多个显卡同时采用数据训练网络的副本。 模型并行不是这里的讨论重点 1.1、数据并行 数据并行的操作要求我们将数据划分成多份，然后发送给多个 GPU 进行并行的计算。 注意：多卡训练要考虑通信开销的，是个trade off的过程，不见得四块卡一定比两块卡快多少，可能是训练到四块卡的时候通信开销已经占了大头 下面是一个简单的
【学习笔记】pytorch多gpu
zzzpy的博客
03-02 328
ssh连服务器docker中运行。 可以先查看gpu运行状态，找空的gpu的id，比如是0，2，5，9这四个gpu watch -n 0.1 nvidia-smi 代码中加入 device = torch.device('cuda') model = nn.DataParallel(model.to(device)) 在运行得时候指定gpu即可（注意DEVICES最后有一个S，被这个...
Pytorch 多块GPU的使用详解
09-18
今天小编就为大家分享一篇Pytorch 多块GPU的使用详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch 多GPU训练
weixin_43118280的博客
04-09 5483
Pytorch 多GPU训练介绍使用1.1 torch.nn.DataParallel1.2 torch.nn.parallel.DistributedDataParallel 介绍 Pytorch 的分布式训练主要是使用torch.distributed来实现的，它主要由三个组件构成： 1.Distributed Data-Parallel Training(DDP):它是一个single-program和multi-process。使用DDP组件的时候，模型被复制到每一个进程也就是GPU里面，每个mod
【PyTorch】多GPU并行训练DistributeDataParallel（Linux版）
qq_38253797的博客
05-08 5344
目录前言一、DataParalled和DistributeDataParallel二、多GPU训练常见启动方式三、torch.distributed.launch代码讲解3.1、main中添加了几个新的变量3.2、初始化各进程环境3.3、调整学习率3.4、在第一个进程中进行打印和保存等操作3.5、DistributedSampler3.6、BatchSampler3.7、DataLoader3.8、保证初始化权重一致3.9、SyncBatchNorm3.10、转为DDP模型3.11、DistributedS
pytorch—多GPU使用
ARYAD的博客
03-31 9913
文章目录单机多卡显卡编号调用全部显卡调用指定编号显卡1. os.environ[“CUDA_VISIBLE_DEVICES”]详解2. torch.cuda主要函数3.关于unet分割一段指定gpu代码多机多卡 单机多卡 单机多卡情况一般有，单机双卡或者八卡比较常见。一般通过nvidia-smi查看gpu的规格和使用情况。gpu会被编上序号：[0,1,2,3,4,5,6,7]等。 显卡编号 在默认情况下，标号为0的显卡为主卡 增加其他显卡为主卡语句： os.environ["CUDA_VISIBLE_D
pytorch 多GPU训练
迷若烟雨的专栏
11-08 2839
普通训练流程，以mnist为例在2080Ti上训练2个epoch耗时13秒.
[学习笔记]深度学习:pytorch多GPU训练
最新发布
wahzx的博客
06-22 459
使用 DataParallel进行多GPU训练(DistributedDataParallel的浅显探索)
pytorch多gpu训练
alijwook的博客
08-24 202
指定使用的设备 CUDA_VISIBLE_DEVICES=1,2 python3 $REPO_PATH/run/test_bert_mrc.py \ 默认从0开始 device = torch.device("cuda") module级别上的数据并行使用 model = torch.nn.DataParallel(model, device_ids=range(config.n_gpu)) 原文1 原文2 ...
PyTorch中的多GPU训练：DistributedDataParallel
deephub
10-27 4648
以上就是PyTorch的DistributedDataParallel的基本知识，DistributedDataParallel既可单机多卡又可多机多卡。DDP在各进程梯度计算完成之后各进程需要将梯度进行汇总平均,然后再由 rank=0 的进程,将其广播到所有进程,各进程用该梯度来独立的更新参数。由于DDP各进程中的模型,初始参数一致 (初始时刻进行一次广播),而每次用于更新参数的梯度也一致的,所以各进程的模型参数始终保持一致。
用Pytorch进行多GPU并行训练模型
qq_52225090的博客
08-03 924
主要着重讲dataparallel的使用方法。
PyTorch模型训练性能调优实战指南：提升效率与资源利用率
总结来看，《PyTorch模型训练性能调优宝典》是一本全面、深入且实用的技术指南，涵盖了从PyTorch基础架构到性能瓶颈分析、从数据加载到GPU优化、从单机训练到分布式训练的完整知识体系。通过学习和应用文档中的优化...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值