pytorch多gpu训练报错：RuntimeError: Caught RuntimeError in replica 0 on device 0.

最新推荐文章于 2025-02-11 14:06:07 发布
最新推荐文章于 2025-02-11 14:06:07 发布
阅读量1.3w 收藏 6
点赞数 4
分类专栏： 深度学习 文章标签： python pytorch 人工智能 算法 图卷积
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/slamdunkofkd/article/details/121629040
版权
本文讨论了在使用图卷积网络（GCN）进行多GPU训练时遇到的错误，主要问题在于nn.DataParallel无法有效处理parameter并行。为了解决这个问题，作者尝试将DataParallel替换为DistributedDataParallel。然而，这一改变带来了新的挑战，如defaultgpu负载过重，原因是torch.load默认将模型加载到defaultgpu。解决方案包括设置map_location参数为cpu，以及启用cudnn.benchmark和cudnn.enabled来优化显存使用。文章引用了多个资源链接，提供进一步的解决办法和最佳实践。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在进行图卷积多gpu训练的时候，报了这样的错误。

最开始版本的代码使用的是：nn.DataParallel 来进行多gpu训练。

但是其缺点也很明显，对于其维护较差，优点就是只用一行代码。

首先为什么会产生这样的错误，在于gcn对于weight和bias使用了parameter 关键词，在parallel中，无法做到对parameter的并行，导致了一些问题。

后来痛定思痛，决定替换DataParallel 为DistributedDataParallel，可参考下面链接1。

然而，没有那么顺利，替换了之后，还接着出错，发现default gpu负载较为严重，产生原因是在于torch.load的时候，自动加载到了default gpu上，可以将其改为

map_location=torch.device('cpu')

除此之外，可以加上这两句，来减少显存的使用。

torch.backends.cudnn.benchmark = True
torch.backends.cudnn.enabled = True

参考链接

1.  PyTorch Parallel Training（单机多卡并行、混合精度、同步BN训练指南文档） - 知乎

2. PyTorch 有哪些坑/bug？ - 知乎用户Nr7C35的回答 - 知乎 https://www.zhihu.com/question/67209417/answer/866488638

3. pytorch多个显卡并行训练 RuntimeError: Caught RuntimeError in replica 0 on device 0._liu_yuan_kai的博客-优快云博客

多GPU训练报错：at least two devices cuda:1 and cuda:0；Caught ValueError in replica 0 on device 0
科研学习笔记！
04-26 1697
DataParallel和DistributedDataParallel多GPU训练时报错，RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:1 and cuda:0!
pytorch 训练 RuntimeError Unable to find a valid cuDNN algorithm to run convolution
mtl1994的博客
02-23 1万+
pytorch 训练 RuntimeError: Unable to find a valid cuDNN algorithm to run convolution pytorch 训练 RuntimeError: Unable to find a valid cuDNN algorithm to run convolution # 问题描述： python:3.95 pytorch:1.10.2 python train.py --img 640 --batch 64 --epochs 600 --d
Caught RuntimeError in replica 0 on device 0（为什么pytorch多卡跑会报错）
算法岗从零到无穷
11-05 1万+
为什么我们多卡运行pytorch的时候会报错呢？如果你找遍了全网都没找到解决方法，那不妨看看本文： a = torch.nn.Parameter(torch.zeros(dims, 1).type(torch.FloatTensor), requires_grad=True) a = torch.autograd.Variable(torch.zeros(dims, 1).type(torch.FloatTensor), requires_grad=True) Variable和P
RuntimeError: Caught RuntimeError in replica 0 on device 0.
子燕若水的博客
08-26 3695
这个错误表示在使用分布式训练时,复制0在设备0上遇到了RuntimeError。
深度学习模型并行引出的内存碎片问题的解决
最新发布
weixin_42319617的博客
02-11 1040
共享内存，内存池还有数据分片是针对框架这一层面，从语言上来说是C++这一层面的，而深度学习通常编辑的是python这一层面的代码，所以对内存等的使用和管理通常是通过框架的一些自动化管理或者接口调用来实现的，实际训练如果遇到上述资源不足等问题，有意识地考虑到需要通过。（不必同时调小batch_size），但是并行的过程中两个程序的数据加载速度都很慢，而且并行了一段时间，计算机似乎重启了，不清楚是哪个问题导致的。的分析发现基本符合：CPU利用率低，内存利用率中，I/O操作少，响应时间快，也就是存在。
python报错RuntimeError: Caught RuntimeError in replica 0 on device 0.
qq_41018465的博客
01-20 9554
python报错： 下面展示一些 内联代码片。 RuntimeError: Caught RuntimeError in replica 0 on device 0. 以及 RuntimeError: CUDA out of memory. Tried to allocate 30.00 MiB (GPU 2; 15.90 GiB total capacity; 15.08 GiB already allocated; 11.69 MiB free; 15.18 GiB reserved in total
pytorch多个显卡并行训练 RuntimeError: Caught RuntimeError in replica 0 on device 0.
热门推荐
liu_yuan_kai的博客
10-26 3万+
今天复现并改动一份代码的时候，发生了该错误： RuntimeError: Caught RuntimeError in replica 0 on device 0. 原代码可以再单卡上面正常运行。但因为自己的需要改成多GPU并行加载模型，然后就发生上述错误，并且还提示没有model.drop_path_prob这个属性！问题出现的原因可以看看这篇：https://blog.csdn.net/qq_30614451/article/details/106766551 简单来说：就是 网络模型的某个参..
caught runtimeerror in replica 0 on device 0 错误解决
qq_41018465的博客
06-27 5525
caught runtimeerror in replica 0 on device 0 解决方案
RuntimeError: Caught RuntimeError in replica 0 on device 2.
sdaujz的博客
09-30 6367
Traceback (most recent call last): File "run_RACE.py", line 243, in <module> main(args.get_args(data_dir,gpu_ids), bert_vocab_file) File "run_RACE.py", line 226, in main config.gradient_accumulation_steps, config.max_grad_norm, device, s.
RuntimeError: Caught RuntimeError in replica 0 on device 1.
03-30
However, in general, a RuntimeError in PyTorch can occur for various reasons such as: - Issues with the input data or the model architecture - Incompatibilities between the CUDA version and PyTorch ...
运行开源库CCPD-RPnet代码，提示「KeyError: Caught KeyError in replica 0 on device 0」错误
Donald Su
10-29 8777
文章目录问题描述问题排查Solution 问题描述 通过python3 demo.py -i ./demo -m ./models/fh02.pth运行CCPD代码，提示「KeyError: Caught KeyError in replica 0 on device 0」和「KeyError: <class ‘torch.Tensor’>」错误。 错误日志为： True /pytor...
【已解决】RuntimeError: cuDNN error: CUDNN_STATUS_INTERNAL_ERROR Caught RuntimeError in replica 2 on devi
BetrayFree的博客
03-11 1万+
这可能是由于各种原因引起的，如CUDA/cuDNN不兼容的版本、内存分配问题或硬件问题。如果上述步骤都无法解决问题，您可能需要从CUDA/cuDNN论坛或支持渠道寻求进一步的帮助，因为问题可能特定于您的环境或配置。显然这样是解决不了任何问题的，因为我在跑其他程序的时候就没有问题，所以上面这些问题肯定是没有出现的。再接着再看上一个错误，给出的答复是这样的，但同样也不知道怎么解决。：检查您的代码，特别是与错误相关的部分。：在代码中添加适当的日志记录，以便更好地理解程序的执行流程和问题发生的位置。
【报错】pytorch DataParallel  -  StopIteration: Caught StopIteration in replica 0 on device 0.
sunflower_sara的机器学习园地
11-13 862
【报错】pytorch DataParallel - StopIteration: Caught StopIteration in replica 0 on device 0. 环境：pytorch 1.5 问题： pytorch单机多卡用nn.DataParallel 的时候无法forward，会报错 原因： pytorch1.5的bug 解决方案: 降级到pytorch1.4 参考文献： https://github.com/huggingface/t...
[pytorch踩坑记录]使用DataParallel出现TypeError: Caught TypeError in replica 1 on device 1.
weixin_40779727的博客
07-17 944
【代码】[pytorch踩坑记录]使用DataParallel出现TypeError: Caught TypeError in replica 1 on device 1.
RuntimeError: CUDA error: device-side assert triggered
qq_34845880的博客
07-09 1150
这是由于标签越界造成的。Assertion `indexValue >= 0 && indexValue < tensor.sizes[dim]：标签出现了小于0或者大于总数的情况，越界了。调试后发现代码中确实有一部分的标签被人为的-1。当类别为0，再减1就越界了。...
TypeError: Caught TypeError in replica 1 on device 1.
qq_39624083的博客
07-08 1125
本来打算利用现成的光流网络模型来提取光流图，用下面的办法加载进去。之后两张图片作为输入送入flow_model得到光流图。，因此，加载的时候也得使用nn.DataParallel。记录一下这个问题，困扰了好久，终于解决了。找了好久资料，也没发现可靠的。后来仔细分析加载的网络发现，但是出现了下述错误。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值