pytorch使用DataParallel时遇到的几个问题

原创

已于 2022-03-23 17:57:29 修改 · 3.1k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch #深度学习 #python

于 2021-11-15 15:58:05 首次发布

这篇博客讨论了在使用DataParallel进行多GPU训练时遇到的问题。当使用两块GPU，总损失会自动取平均值，但自定义损失可能不会，导致`item()`调用错误。解决方法是在自定义损失上应用`torch.mean()`来获取平均值，然后再使用`item()`转换为浮点数。此外，文章也强调了DataParallel如何将批量数据分割到多个GPU上进行并行处理。

import Model
import torch
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model = Model(input)
model.to(device)
model =

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

想念@思恋

关注关注

3
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

pytorch DistributedDataParallel提示未参与loss计算的变量错误

Xia Qiaolin - 优快云

01-29

1万+

错误提示： RuntimeError: Expected to have finished reduction in the prior iteration before starting a new one. This error indicates th at your module has parameters that were not used in producing loss. You can enable unused parameter detection by (1) passin g

pytorch 多GPU训练 loss不能正常下降

zzz1515151的博客

06-05

6284

在使用pytorch的DataParallel进行多GPU并行训练过程中，参考了很多博客，其中两个博客的内容有误，会导致多GPU训练时loss不能正常下降，且运行过程中不会有报错，下面做简单的说明。有问题的博客链接： https://blog.csdn.net/daniaokuye/article/details/79110365 https://blog.csdn.net/qq_19...

参与评论您还未登录，请先登录后发表或查看评论

pytorch gather_torch.nn.DataParallel中数据Gather的问题：维度不匹配

weixin_39557583的博客

11-22

712

Pytorch中的多GPU非常好用，一句话就能搞定：self.model = torch.nn.DataParallel(self.model)。然而这两天我做零样本学习中遇到了一个问题始终无法解决，就是说单GPU可以跑，一旦使用多GPU，就会出现：RuntimeError: Gather got an input of invalid size: got [24, 10, 448，448], b...

解决pytorch中DataParallel后模型参数出现问题的方法

genous110的博客

03-10

1万+

pytorch中如果使用DataParallel，那么保存的模型key值前面会多处’modules.’，这样如果训练的时候使用的是多GPU，而测试的时候使用的是单GPU，模型载入就会出现问题。一个解决方法是测试的时候强行DataParallel，但是有时候情况较为复杂，可以使用如下的方法：（参考来源：https://discuss.pytorch.org/t/solved-keyerror-u...

Pytorch的nn.DataParallel

anshiquanshu的专栏

08-23

2792

在多卡的GPU服务器，当我们在上面跑程序的时候，当迭代次数或者epoch足够大的时候，我们通常会使用nn.DataParallel函数来用多个GPU来加速训练。一般我们会在代码中加入以下这句： device_ids = [0, 1] net = torch.nn.DataParallel(net, device_ids=device_ids) 似乎只要加上这一行代码，你在ternimal下执行watch -n 1 nvidia-smi后会发现确实会使用多个GPU来并行训练。但是细心点会发现其实第一块卡

pytorch使用DataParallel加速（包括RNN疑难杂症处理）

AnUnverse的博客

07-28

2314

DataParallel的基本使用方法很简单，只需设置device_ids即可，如下所示： device_ids = [0, 1, 2, 3] model = torch.nn.DataParallel(model, device_ids=device_ids) device_ids为你要使用的GPU号。如果你未使用DataParallel之前用的便是单GPU进行训练，那么对于数据不需要额外的操作，否则，你需要将模型的输入数据转移到cuda上，如： # 此处device与device_ids无关，

pytorch dataparallel 爆显存

最新发布

12-27

当遇到 PyTorch 的 `DataParallel` 模式下显存不足的情况时，有多种策略可以帮助缓解这一问题。以下是几种有效的解决方案： #### 使用混合精度浮点数 (FP16) 采用 FP16 可显著减少模型所需的显存量。通过使用自动...

transformers库中使用DataParallel保存模型参数时遇到的问题记录

u011426236的博客

04-22

4131

pytorch中使用DataParallel保存模型参数时遇到的问题记录之前使用Transformers库中的Bert模型在自己的文本分类任务上使用Transformers库里的Trainer方式进行了Fine-tune。今天尝试加载保存好的checkpoint到程序中来直接进行evaluate。直接使用AutoModelForSequenceClassification从checkpoint目录加载加载的代码为： model = AutoModelForSequenceClassification.

Pytorch DataParallel and DistributedDataParallel

dreamtactic的博客

10-13

673

Pytorch DataParallel and DistributedDataParallel 最近试着使用Pytorch跑单机多卡训练，遇到了不少问题，做个总结和教程方便未来观看。我自己也是一个新手，很多东西总结的不好，有问题请多多指教，不懂的地方可以看参考文档，很多东西写的比我详细（本文只针对单机多卡训练，多机多卡训练未经过验证，请酌情观看）环境： python 3.7 pytorch 1.4.0 DataParallel DataParallel是官方最早提供的一个库，使用非常简单，一行就够了 i

安装warp-ctc的问题、DataParallel的问题

勤学如春起之苗，不见其增，日有所长

01-25

941

基本和这篇博客说的一样： https://blog.csdn.net/yuanlulu/article/details/85462997 pytorch 0.4.1的地址在： https://github.com/SeanNaren/warp-ctc/releases/tag/0.4.1 下载源代码，解压即可。然后还要 pip install cffi 的包用 Dataparallel的话，...

torch遇到的一系列问题

qq_41897073的博客

05-31

741

torch遇到的问题

pytorch中的.detach()和detach_()和.data和.cpu()和.item()的深入详解与区别联系

weixin_45928096的博客

03-16

6009

pytorch中的.detach()和detach_()和.data和.cpu()和.item()的深入详解与区别联系在x->y->z传播中，如果我们对y进行detach()，梯度还是能正常传播的；但如果我们对y进行detach_()，就把x->y->z切成两部分：x和y->z，x则无法接受到后面传过来的梯度。 x.data和x.detach()返回和x的相同数据 tensor，这个新的tensor和原来的tensor（即x） .data返回的是一个tensor、而.item()返回的是一个具体的数值。

PyTorch并行与分布式(三)DataParallel原理、源码解析、举例实战

小小何先生的学习之旅

12-12

4576

文章目录简要概览源码解析实例简要概览 pytorch官方提供的数据并行类为： torch.nn.DataParallel(module, device_ids=None, output_device=None, dim=0) 当给定model时，主要实现功能是将input数据依据batch的这个维度，将数据划分到指定的设备上。其他的对象(objects)复制到每个设备上。在前向传播的过程中，module被复制到每个设备上，每个复制的副本处理一部分输入数据。在反向传播过程中，每个副本module的

报错“ValueError: only one element tensors can be converted to Python scalar

Viviane_2022的博客

01-15

411

用了append报错，将apend换成extend。

Pytorch使用nn.DataParallel失效：只能使用单GPU / 无法使用多GPU训练

学习 & 分享 ~

05-13

7515

官方文档： torch.nn.DataParallelDataParallel 在 Module 级别实现并行计算，关于使用了 DataParallel 而实际训练时不起作用（只能使用单 GPU）的可能原因：1. 设置的 Batch Size 小于可用的 GPU 数量，这一点在官方文档中也有说明：需要保证大于使用的 GPU 数量。2. 未使用 nn.Module 的默认 forward() 方法执行前向传播。一般情况下，定义的 Model 继承自，在进行前向传播时，调用函数，能够进行多 GPU 并行

pytorch 踩坑： only one element tensors can be converted to Python scalars

热门推荐

Petersburg的博客

09-08

3万+

错误原因：有一个列表是A，其元素是多个tensor，这时会如题报错。解决方案是，将A的元素先转化为ndarray，再变换为tensor。具体操作如下：如果是在gpu上，由于在gpu中不能转换为array A = torch.tensor( [item.cpu().detach().numpy() for item in A] ) 如果是在cpu上： A = torch.tensor([item.detach().numpy() for item in A]) ...

讲解only one element tensors can be converted to Python scalars

牛肉胡辣汤

12-22

1608

在使用PyTorch时，当遇到 "only one element tensors can be converted to Python scalars" 错误消息时，我们需要确认张量中元素的数量。如果张量包含多个元素，我们应该使用索引来访问特定元素，或者使用其他方法来处理整个张量。如果张量只有一个元素，我们可以使用.item()方法将其转换为Python标量。如果需要将整个张量转换为Python列表，并且确保张量只有一个元素，可以使用.tolist()方法。

pytorch分布式遇到的问题集锦

qq_45431678的博客

12-13

1443

而使用这个语句来查看模型的权重时会发现返回的权重字典确实和需要加载的权重字典一样，这时我以为权重字典成功加载到模型net中了，但是使用加载了权重字典的模型net预测数据集时，却出现了模型预测性能和随机预测差不多，这说明模型其实并没有成功加载之前训练好的模型的权重字典。，发现返回的权重字典和模型初始权重字典一样，这解释了为什么模型预测性能和随机预测差不多了，因为模型确实并未成功加载权重字典，起码分布式的模型并未成功加载权重字典。pytorch中模型可以调用一个state_dict()函数查看权重字典的。

成功解决ValueError: only one element tensors can be converted to Python scalars

创作高质量博文，分享知识，共同进步！

02-05

2514

成功解决ValueError: only one element tensors can be converted to Python scalars。