Pytorch CUDA的一些报错及解决方案

原创 已于 2023-01-09 11:33:00 修改 · 1.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #pytorch

于 2023-01-03 14:12:36 首次发布
本文介绍了在使用PyTorch进行CUDA分布式训练时可能遇到的报错及解决办法，包括设置环境变量nproc_per_node和local_world_size与GPU数量匹配，以及如何处理cuda runtime error (101)。当遇到无效设备序号或无法调用显卡的问题时，可能是由于驱动版本不匹配，可通过调整PyTorch版本来解决。

  • CUDA的分布式训练

torch._C._cuda_setDevice(device)
RuntimeError: cuda runtime error (101) : invalid device ordinal at /opt/conda/conda-bld/pytorch_1595629427478/work/torch/csrc/cuda/Module.cpp:59

解决办法：

在.sh脚本的时候，需要将环境中存在的node数(对于单机多卡来说，就是GPU的数量)设置匹配。也就是说，环境中有多少张卡，node数就应该等于多少。

python -m torch.distributed.launch --nproc_per_node=4 --use_env train.py --batch_size 4

推荐用法是nproc_per_node和local_world_size 设置和CUDA_VISIBLE_DEVICES的数量一致。参考链接：

最低0.47元/天 解锁文章
PyTorch DataLoader 报错 Segmentation fault (core dumped) 的原因及解决方案
沉迷单车的追风少年
04-28 2598
其他出core的方法都可以通过这个方法来排查，查看出core的具体原因。这里是因为torch的版本和CUDA的版本不匹配导致的错误。Pytorch DataLoader 读取数据。
配置SSD-caffe测试时出现“Check failed: error == cudaSuccess (10 vs. 0) invalid device ordinal”解决
Blackrosetian的博客
01-10 882
解决方法：将ssd_pascal.py文件中gpus = "0，1，2，3"的GPU选择改为gpus = "0"，后面的1，2，3都删掉即可。因为电脑只安装了一块GPU。还需要将ssd_pascal.py文件中中的batch_size = 32和accum_batch_size = 32同时改为8，不然会出现“Check failed: error == cudaSuccess (2 vs. 0)...
pytorch测试报错：RuntimeError: cuda runtime error (10) : invalid device ordinal at torch/csrc/cuda/Module
猫猫与橙子的博客
06-04 1万+
模型在服务器多gpu上训练，测试在自己台式机上进行，只有一块gpu，测试报错： File "/home/fuxueping/sdb/PycharmProjects/face_recognition/test_face_recognition_pytorc h.py", line 563, in <module> test(method) File "/home/fu...
如何安装和配置 PyTorch+CUDA 环境？常见报错解决方案
最新发布
2501_91798322的博客
11-06 1768
PyTorch推荐用官方提供的命令安装，自动匹配CUDA版本。步骤1：选择PyTorch版本打开PyTorch官网（https://pytorch.org/get-started/locally/），选择：PyTorch Build：Stable（稳定版）Package：Pip（新手推荐，简单易操作）CUDA：11.8（与之前安装的CUDA版本一致）。步骤2：执行安装命令。
cuda runtime error (101) : invalid device ordinal at /opt/conda/conda-bld/pytorch_1595629403081/work
qq_35037684的博客
05-13 2544
报错： File "/opt/conda/lib/python3.7/site-packages/torch/nn/modules/module.py", line 376, in _apply param_applied = fn(param) File "/opt/conda/lib/python3.7/site-packages/torch/nn/modules/module.py", line 605, in convert return t.to(device, dtype
pytorch并行报错：cuda unknown error 以及 daemonic processes are not allowed to have children
乐趣是人为构建的，构建是一种莫大的乐趣。
02-27 677
两个pytorch的并行报错
Python运行错误：RuntimeError: CUDA error: invalid device ordinal
热门推荐
yxh的博客
03-28 3万+
用pytorch跑实验需要用到cuda加速，开始默认用的是第0块gpu，后来第0块cpu被别人占用，所以只能切换到第1块gpu。 于是进行了如下修改 device = torch.device('cuda:1' if torch.cuda.is_available() else 'cpu' ) 但是出现了错误： RuntimeError: CUDA error: invalid device o...
解决RuntimeError: CUDA error: invalid device ordinal
PR-XIAOBAI
12-13 3164
用的python版本是3.8torch版本用的1.12.1+cu113运行发现GPU数量为1，原本应该是8.
PyTorch中模型加载失败的报错与解决方案
shejizuopin的博客
06-13 1582
摘要：本文总结了PyTorch模型加载失败的主要问题和解决方案。常见报错包括文件路径错误(OSError)、文件损坏(RuntimeError)、版本不兼容(RuntimeError)、结构不匹配(RuntimeError)、设备不匹配(RuntimeError)和自定义层加载失败(AttributeError)。针对这些问题分别提供了解决代码示例，如使用os.path.exists检查文件、map_location参数指定设备、去除DataParallel前缀等方法。文章还通过对照表清晰呈现了问题类型、典
PyTorch环境中使用CUDA出现的报错
GDHBFTGGG的博客
07-31 1073
PyTorch环境中使用CUDA出现的报错
comfyui的cuda报错，如何解决？
**My Coding Family**
06-10 1654
🏆 本文收录于《全栈Bug调优(实战版)》专栏，致力于分享我在项目实战过程中遇到的各类Bug及其原因，并提供切实有效的解决方案。无论你是初学者还是经验丰富的开发者，本文将为你指引出一条更高效的Bug修复之路，助你早日登顶，迈向财富自由的梦想🚀！同时，欢迎大家关注、收藏、订阅本专栏，更多精彩内容正在持续更新中。让我们一起进步，Up！Up！Up！    备注： 部分问题/难题源自互联网，经过精心筛选和整理，结合数位十多年大厂实战经验资深大佬经验总结所得，数条可行方案供所需之人参考。
“RuntimeError: CUDA error: invalid device ordinal”解决方法
qq_43826289的博客
07-03 8587
参考：https://blog.youkuaiyun.com/qxqxqzzz/article/details/107720675。用的Pytorch分布式代码，指定的每个节点GPU个数和你指定的GPU序号不对应（我出错的地方就是在这里）用于日常排错，自用。其他小伙伴跟我不一样的错误可以参考我给出博客地址，看看自己到底是哪里除了错误。S就只指定了两个GPU，对应不起来导致的。另：rank表示的结点之间的主、从关系。通过nnodes指定总共使用1个节点，通过。指定了该节点启3个进程，但是前面。
Pytorch load深度模型时报错：RuntimeError: cuda runtime error (10) : invalid device ordinal
yinhui_zhang的博客
01-21 1万+
问题背景和描述： 　　我是在服务器上用显卡２上训练我的模型，但是模型还在继续跑，所以我只能在其他显卡上重新做测试实验看效果的好坏。在pytorch上重新load训练好的深度学习模型时报错：RuntimeError: cuda runtime error (10) : invalid device ordinal at torch/csrc/cuda/Module.cpp:32。 THCuda...
Pytorch 读取参数错误 RuntimeError: cuda runtime error (10) : invalid device ordinal
weixin_36670529的博客
03-23 1357
博主实在使用Pytorch分布式训练时遇到这个问题的，原因是程序中GPU数量和指定的GPU数量不一样导致的。底层查看之后，发现了问题。原来是Pytorch在参数保存的时候，会注册一个跟原来参数位置有关的location。比如原来你在服务器上的GPU1训练，这个location很可能就是GPU1了。而如果你台式机上只有一个GPU，也就是GPU0的时候，那么这个参数带进来的Location信息于你的台式机不兼容，就会发生找不到cuda device的问题了。 ...
已解决RuntimeError: CUDA error: invalid device ordinal 亲测有效！！！
m0_55927959的博客
05-08 6049
已解决RuntimeError: CUDA error: invalid device ordinal 亲测有效！！！
RuntimeError: CUDA error: invalid device ordinal
千与编程
05-20 1万+
报错原因：本地只有一块GPU卡，将GPU：1更改为GPU：0 device·：0 四张GPU卡编号:GPU:0,1, 2, 3
PyTorch Error: “RuntimeError: CUDA error: invalid device ordinal的”
BetterManPeter的博客
10-23 550
设置使用的GPU设备，此时会有个误区就是当在环境变量中指定了“CUDA_VISIBLE_DEVICES”，那么Python代码中会根据指定的GPU数量从0开始重新编号，因此代码中应该设置为。环境变量中设置了“CUDA_VISIBLE_DEVICES”，那么记得不管限定的GPU编号是多少，在代码中的编号总是从0开始的。首先在允许代码的时候通过环境变量“CUDA_VISIBLE_DEVICES=7”限定了使用的GPU，然后再在代码中通过。
pytorch 使用GPU进行神经网络训练出现问题 RuntimeError: CUDA error: invalid device ordinal
Childhood_Sweetheart的博客
03-24 2404
实验室里有两块GTX1080Ti 的显卡，一开始只是使用第一块显卡，需要在代码中加入这样一行代码： device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") 但是第一块显卡被使用了，要用第二块显卡，于是我就将代码改为： device = torch.device("cuda:1" if torch.cuda.is_available() else "cpu") 但是出现了这样的错误，在网上查阅了资料才发现需要这
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值