多GPU训练报错：at least two devices cuda:1 and cuda:0；Caught ValueError in replica 0 on device 0

已于 2023-04-27 15:12:27 修改
阅读量1.8k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Machine & Deep Learning 文章标签： pytorch 深度学习 python 神经网络
于 2023-04-26 13:06:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xiangyong58/article/details/130334161
在使用PyTorch的DataParallel进行多GPU训练时，遇到'at least two devices cuda:1 and cuda:0'错误。错误源于自定义参数与nn.module模型参数在不同GPU上导致的设备不匹配。解决方案包括切换到DistributedDataParallel模式，以及避免在main函数中定义全局变量，确保所有GPU能访问到所需资源。

多GPU训练at least two devices cuda:1 and cuda:0

详细报错信息如下：

File "/.../site-packages/torch/nn/parallel/data_parallel.py", line 168, in forward outputs = self.parallel_apply(replicas, inputs, kwargs)
File "/.../site-packages/torch/nn/parallel/data_parallel
了解本专栏 订阅专栏 解锁全文 超级会员免费看
RuntimeError:Expected all tensors to be on the same device, but found at least two devices解决方案
weixin_43178406的博客
09-05 4万+
本文主要介绍了RuntimeError:Expected all tensors to be on the same device, but found at least two devices解决方案，希望能对学习python的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
加载yolov5 模型到cuda0和加载resnet50模型到cuda1出错处理
007的博客
01-06 1743
　　先说下我工程：我需要使用yolov5的模型给出一张图中的检测结果，然后把这些检测结果再次送到resnet50的分类器中进行分类，刚开始我把两个模型都加载到了cuda0,一切完美运行．为了加速，我把yolov5的模型加载到了cuda0上(说明下我有４块gpu),resnet50的分类器模型加载到了cuda1上．想法是美好的，但执行上述流程时出现了意想不到的错误： RuntimeError: CUDA error: invalid device ordinal CUDA kernel errors mig
pytorch问题：found at least two devices, cuda:0 and cuda:1!
Tak-Wah Blog
10-18 4535
RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cuda:1!
【已解决】RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cu
热门推荐
BetrayFree的博客
11-16 2万+
其实写到这里会发现上面两部分代码是一样的，无所谓，主要是证明两个得是一样的，仅此而已。
StopIteration: Caught StopIteration in replica 0 on device 0. 问题排查与解决
qq_35284646的博客
06-18 2208
StopIteration: Caught StopIteration in replica 0 on device 0. param = next(self.parameters()) StopIteration 问题排查与解决
Expected all tensors to be on the same device, but found at least two devices, cuda:1 and cuda:0!
qq_36632604的博客
08-11 520
nn.DataParallel单机多卡 yolo相关。
大模型-报错RuntimeError: Expected all tensors to be on the same device, but found at least two devices, c
qq_15821487的博客
10-23 518
在容器层面限制调用的GPU显卡，防止代码自动调用多张显卡，导致报错。
多卡运行BERT代码报错：StopIteration: Caught StopIteration in replica 0 on device 0.
Ayu147258的博客
03-28 504
next(self.parameters()).dtype报错：StopIteration: Caught StopIteration in replica 0 on device 0.
torch报错：StopIteration: Caught StopIteration in replica 0 on device 0.
weixin_44152453的博客
10-26 8260
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
Bert分类模型训练报错：RuntimeError: CUDA error: device-side assert triggered
凝眸伏笔的博客
04-25 1781
问题： 训练bert分类模型时候，报错如下： <torch.utils.data.dataloader.DataLoader object at 0x7f63fe59a588> Epoch [1/50] /pytorch/aten/src/THCUNN/ClassNLLCriterion.cu:108: cunn_ClassNLLCriterion_updateOutput_kernel: block: [0,0,0], thread: [0,0,0] Assertion `t >=
【pytorch】单机多GPU报错 :Expected all tensors to be on the same device, but found at least two devices
rocking_struggling的博客
07-06 7519
单卡多GPU训练报错处理思路
解决：RuntimeError: Expected all tensors to be on the same device, but found at least two devices
qq_52038588的博客
11-24 3704
RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:1 and cuda:0
运行开源库CCPD-RPnet代码，提示「KeyError: Caught KeyError in replica 0 on device 0」错误
Donald Su
10-29 8834
文章目录问题描述问题排查Solution 问题描述 通过python3 demo.py -i ./demo -m ./models/fh02.pth运行CCPD代码，提示「KeyError: Caught KeyError in replica 0 on device 0」和「KeyError: <class ‘torch.Tensor’>」错误。 错误日志为： True /pytor...
RuntimeError: Expected all tensors to be on the same device, but found at least two devices
Viviane_2022的博客
01-11 1万+
运行以下代码时报错，这是在函数定义里，且当时loss和model都有.to(device)的操作在网上找了很久都没有找到原因，报错的地方在cat：即在在数据拼接的时候，即一个数据在GPU0上，一个数据在GPU1上，这就会出现错误修改地方：一定要注意，产生随机数的地方也要用.to(device)
KeyError: Caught KeyError in replica 0 on device 0.
binqiang2wang
06-02 7136
跑torch代码遇到这个问题。 博客上有类似的问题： 运行开源库CCPD-RPnet代码，提示「KeyError: Caught KeyError in replica 0 on device 0」错误 不过具体的错误提示和我的还是不一样。 通过官方论坛里的一个问题 主要问题是出现在DataParrallel上。 当在多个gpu上跑代码的时候就可能遇到这个问题。 解决方法就是用一块GPU跑。 ...
报错解决——TypeError: Caught TypeError in replica 0 on device 0.
Williamcsj的博客
04-08 695
推理的时候，改成单卡推理。
#01【chatglm】双GPU微调时报错“不在相同设备上”-已解决
ouhuixiong的博客
08-02 1208
还有同学是几年前的老爷机/笔记本，或者希望大幅提升部署/微调模型的速度，我们应用了动态技术框架，大幅提升其运算效率（约40%），节省显存资源（最低无显卡2g内存也能提升），工众后台：“加速框架”；如果你还不知道该怎么微调训练模型，我系统更新了训练和微调的实战知识库，跟着一步步做，你也能把大模型的知识真正应用到实处，产生价值。今天，在【NLP学习群】中，一位同学反馈，单卡微调时很顺利，但是双显卡微调时显示错误，他自己折腾好几天都没解决。为了解决这个问题，你需要确保在所有操作中使用相同的设备。
解决方式之一Caught AttributeError in replica 0 on device 0.
weixin_45347379的博客
08-27 2382
解决Caught AttributeError in replica 0 on device 0.
caught runtimeerror in replica 0 on device 0 错误解决
qq_41018465的博客
06-27 5623
caught runtimeerror in replica 0 on device 0 解决方案
torch.cuda.OutOfMemoryError: Caught OutOfMemoryError in replica 0 on device 0.
最新发布
05-23
### torch.cuda.OutOfMemoryError 的原因分析 `torch.cuda.OutOfMemoryError` 是指在运行 PyTorch 深度学习模型时，由于 GPU 显存不足而导致的错误。这种问题通常发生在尝试分配超过可用显存量的内存时[^1]。 #### 可能的原因 1. **Batch Size 过大**：如果批量大小设置得过大，则会占用过多的显存资源。 2. **模型参数过多**：复杂的神经网络结构可能需要更多的显存来存储权重和梯度。 3. **中间张量未释放**：训练过程中产生的临时变量可能会占据大量显存，如果没有及时清理这些变量，就会导致显存耗尽。 4. **显存碎片化**：即使有剩余空间，但如果被分割成许多小块无法满足连续的大规模需求，也会引发此错误[^2]。 --- ### 解决方案 以下是几种常见的解决方法： #### 1. 减少 Batch Size 降低每次输入到模型中的样本数量可以显著减少所需的显存量。通过调整 `batch_size` 参数至更小值（例如从 64 调整为 32 或更低），能够缓解显存压力[^3]。 ```python train_loader = DataLoader(dataset, batch_size=16, shuffle=True) ``` #### 2. 使用 Gradient Checkpointing 技术 对于非常深或者宽广的架构来说，可以通过启用 gradient checkpointing 来节省显存消耗。这种方法会在前向传播期间丢弃某些层的结果，在反向传播阶段重新计算它们而不是保存下来。 ```python import torch.utils.checkpoint as cp def forward(self, x): return cp.checkpoint(super().forward, x) ``` #### 3. 清理无用变量并手动清空缓存 确保删除不再使用的 tensor 对象，并调用 `torch.cuda.empty_cache()` 手动清除掉已经被 Python GC 收集但是还没有返回给系统的那部分显存。 ```python del variable_name # 删除不需要的对象 torch.cuda.empty_cache() # 清除缓存 ``` #### 4. 设置环境变量优化显存管理 有时因为显存碎片化的缘故即便有足够的总容量也可能触发 OOM 错误。此时可通过配置 `PYTORCH_CUDA_ALLOC_CONF` 环境变量来进行更好的显存分配策略控制，比如增大最大拆分尺寸以防止过度细分。 ```bash export PYTORCH_CUDA_ALLOC_CONF="max_split_size_mb:100" ``` #### 5. 将数据移动到 CPU 上处理后再送入 GPU 当整个 dataset 太庞大以至于一次性加载全部进入 device 不现实的情况下，考虑逐批次读取并将每一批次的数据先放在 cpu 中完成预处理之后再转移到 gpu 设备上去执行运算操作。 ```python for data in train_loader: inputs, labels = data[0].to('cpu'), data[1].to('cpu') outputs = model(inputs.to(device)) ``` #### 6. 利用混合精度训练(Mixed Precision Training) 采用半精度浮点数(fp16)代替标准单精度(float32)，这样既能加快速度又能节约一半以上的显存开销。借助 NVIDIA Apex 库实现简单高效的支持。 ```python from apex import amp model, optimizer = amp.initialize(model, optimizer, opt_level='O2') with amp.scale_loss(loss, optimizer) as scaled_loss: scaled_loss.backward() optimizer.step() ``` --- ### 总结 以上提到的方法可以根据具体场景单独应用或是组合起来共同作用于解决问题之上。值得注意的是，不同硬件平台以及框架版本之间可能存在细微差异因此实际效果需经过实验验证得出最佳实践方案。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xiangyong58

喝杯茶还能肝到天亮，共同进步

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值