报错:RuntimeError: CUDA error: all CUDA-capable devices are busy or unavailable

最新推荐文章于 2025-06-13 20:21:11 发布
原创 最新推荐文章于 2025-06-13 20:21:11 发布 · 1.4w 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了在PyTorch中使用DataParallel进行多GPU并行运算时遇到的错误，并分享了一种解决方案。作者最初尝试在具有不同计算能力的多GPU环境下运行程序，但遭遇失败。通过调整代码，将GPU指定改为单个可用GPU，问题得以解决。文章还讨论了DataParallel的正确使用方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

运行程序时报错:

定位的错误是:D=torch.nn.DataParallel(discriminator(n_filters=32)).cuda(gpu_id)

本来以为是因为服务器上有4块显卡,GPU1,GPU2,GPU3的计算能力都是2.0,但是GPU0的计算能力是>3的,所以认为是调用的时候为每个GPU都分配一定的任务,所以才报错的.  但是 看其他框架下的代码直接使用XX.cuda()也是可以的..查了很多资料都没有解决方案.

有遇到过类似问题的,他们的原因是系统升级后,显卡驱动不能用了,所以要升级显卡驱动....但是我没有升级系统呀???

把函数改一改,将gpu_id作为全局变量,然后还是不行...

最后师弟将这两句函数改了,变成如下方式,就可以了....

gpu_id=0

D=discriminator(n_filters=32).cuda(gpu_id)
#D=torch.nn.DataParallel(discriminator(n_filters=32)).cuda(gpu_id)
G=generator(n_filters=32).cuda(gpu_id)
#G=torch.nn.DataParallel(generator(n_filters=32)).cuda(gpu_id)

我查了查DataParallel在pytorch中使用的,它的使用方法如下:

 可能是使用的格式不对吧.这样的操作可能是对于多个GPU可以分散任务,但是由于我的其他的GPU不能用,能用的只有1块,所以就会报错,还是直接使用单个GPU就好了...但是在单GPU的机器上跑就不会出错.

Qwen2-VL出现RuntimeError: CUDA error: too many resources requested for launch CUDA kernel errors的解决方案
weixin_43178406的博客
10-31 13万+
本文主要介绍了Qwen2-VL出现RuntimeError: CUDA error: too many resources requested for launch CUDA kernel errors的解决方案，希望能对使用Qwen2-VL的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
RuntimeError: CUDA error: invalid device ordinal解决方案
热门推荐
weixin_43178406的博客
01-09 3万+
本文主要介绍了RuntimeError: CUDA error: invalid device ordinal解决方案，希望能对使用Python的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案 2.1 LLM解决方案 2.2 cv2库解决方案
RuntimeError: CUDA error: all CUDA-capable devices are busy or unavailable CUDA kernel errors might
qq_40418553的博客
09-04 2529
RuntimeError: CUDA error: all CUDA-capable devices are busy or unavailable CUDA kernel errors might 的一种情况。
多GPU系统中的CUDA设备不可用问题
m0_48707860的博客
07-10 1254
检查和调整BIOS设置（没有尝试，但是在CUDA版本修改之前就是禁用集成显卡的，任然出现该问题）： 进入BIOS/UEFI，确保所有PCIe插槽设置为“Auto”或“Gen3”，并禁用了所有不必要的集成显卡。限制使用特定GPU： 修改环境变量 CUDA_VISIBLE_DEVICES 限制CUDA程序只使用特定的GPU进行测试，问题依旧。检查GPU状态： 使用 nvidia-smi 查看当前GPU的使用情况，所有GPU的利用率为0。使用 nvidia-smi 命令检查时，发现所有GPU的利用率为0。
单机多卡训练torchrun Debug记录
最新发布
m0_48580313的博客
06-13 623
刚开始gpu利用率拉满，但显存一直很低（是因为数据还没开始上传，还处于未通信成功的此状态），10min后报bug（通信的等待时间默认为10min）。运行之后，先gpu利用率提升，后显存上升，gpu利用率处于跳跃数值，成功开始单机多卡训练。可能是CUDA_VISIBLE_DEVICES变量未设置或未生效。单机多卡训练的任务提交过程遇到很多问题，记录一下。尝试以下代码：（CUDA_VISIBLE_DEVICES设为要使用的gpu索引）首先通过以下代码确认当前cuda是否可用，可用的GPU数量。
RuntimeError: CUDA error: all CUDA-capable devices are busy or unavailable
baidu_36639782的博客
01-29 1万+
在使用pytorch构建网络时,  执行model.cuda()时, 出现标题上的错误, 还会报如下错误 : RuntimeError: cuda runtime error (30) : unknown error at /opt/conda/conda-bld/pytorch_1544199946412/work/aten/src/THC/THCGeneral.cpp:51   目前网...
runtime error: cuda error: all cuda-capable devices are busy or unavailable
qq_39400568的博客
04-27 974
runtime error: cuda error: all cuda-capable devices are busy or unavailable 今天想早上跑个机器学习程序时突然出现这种错误，以前还好好的，在百度和google上都没搜到直接解决的方案。于是晚上专门花了2个多小时才解决，真是一波三折。 我的解决方案是将NVIDIA 驱动卸载后重装，我是由460.32.03改为460.73.01，果然立竿见影。但是后来显示器分辨率不对了，于是重启。卡在libmod error界面进不去。于是进入ubun
RuntimError: CUDA error:all CUDA-capable devices are busy or unavailable问题解决
qq_35284646的博客
06-18 8628
RuntimError: CUDA error:all CUDA-capable devices are busy or unavailable
目标检测pytorch报错：RuntimeError: CUDA error: device-side assert triggered
qq_41997274的博客
10-27 6954
目标检测pytorch报错：RuntimeError: CUDA error: device-side assert triggered
yolov5测试报错：RuntimeError: CUDA out of memory.
猫猫与橙子的博客
08-22 6885
RuntimeError: CUDA out of memory.不一定是现存不足；
训练报错：RuntimeError: CUDA error: device-side assert triggered
猫猫与橙子的博客
02-08 5553
训练分类网络resnet18发生报错：RuntimeError: CUDA error: device-side assert triggered
CUDA error: all CUDA-capable devices are busy or unavailable（已解决）
qq_41172001的博客
04-15 4422
我遇到问题的原因：显卡驱动安装版本不正确 通过sudo ubuntu-drivers autoinstall 自动安装的版本为460.32.31 而原版本（误删）应该是450.102.04 所以导致报错 解决方法：卸载重装 官网下载相应显卡驱动450.102.04 安装 sudo sh cuda_6.5.14_linux_64.run 选择continue，YES，最后ok 在安装过程可能会遇到问题： An NVIDIA kernel module ‘nvidia-drm’ appears to al
RuntimeError: CUDA error: all CUDA-capable devices are busy or unavailable解决办法
BingY_998的博客
05-17 3528
解决办法：查看自己环境中nvidia驱动、pytorch、cuda、cudnn的版本是否是对应的，如果没有对应，参考下面链接中安装步骤进行解决。 Linux（ubuntu20.4）系统下安装NVIDIA 450驱动+pytorch1.8.1+cuda10.2+cudnn7.6.5 ...
PyTorch CUDA RuntimeError: all CUDA-capable devices are busy or unavailable解决方案
weixin_44909288的博客
04-20 1711
PyTorch CUDA RuntimeError: all CUDA-capable devices are busy or unavailable 某天服务器的屏幕锁突然解不开，输入不了密码，只能关机重启，一般这种情况重启后都会有问题，以前遇到重启后显卡驱动报错，只要卸载原先的驱动然后再重装一遍显卡驱动就行了。 这次遇到的问题如标题所示，在网上搜索了一些解决方案，但是都没用，因为我这是两个卡，只有一个人用，代码也没有任何问题，根据以往经验判断还是显卡驱动的问题。 但是卸载重装自适应版本还是不行，于是去n
yolov4出现CUDA Error: all CUDA-capable devices are busy or unavailable
小俊俊的博客
04-21 1073
yolov4出现CUDA Error: all CUDA-capable devices are busy or unavailable 一、问题描述 CUDA Error: all CUDA-capable devices are busy or unavailable: Success darknet: ./src/utils.c:331: error: Assertion `0’ failed. 二、查找方案 1.可能是cfg文件配置错误 解决方法 [net] batch=1 subdivision
ubuntu18.04运行cuda报错RuntimeError: CUDA error: all CUDA-capable devices are busy or unavailable
orangeboss的博客
04-21 2692
ubuntu18.04运行cuda报错RuntimeError: CUDA error: all CUDA-capable devices are busy or unavailable 昨天下午因为自己的强迫症升级了实验室服务器上的推送的更新，下午再运行代码时报错RuntimeError: CUDA error: all CUDA-capable devices are busy or unavailable。(因为当时没有保存所以这里就不放图片了。) 问题检查 首先在终端输入nvidia-smi，图片如
CUDA error: all CUDA-capable devices are busy or unavailable解决方法
qqdstc的博客
06-03 1513
1. 查看gpu占用情况，终端输入htop，可以发现gpu aren't busy，无法解决问题。3. 在运行命令前面加上：CUDA_VISIBLE_DEVICES=1，指定GPU，解决问题！2. 重启，终端输入sudo reboot，无法解决问题。
设置显卡为非独占模式，解决CUDA error: all CUDA-capable devices are busy or unavailable CUDA kernel errors might b
Bean的博客
07-10 5270
再看nvidia-smi显卡信息，最右边一列，Volatile Uncorr. ECC GPU-Util MIG M.这里，显示的是E.Process Disabled。原因：这是因为显卡设置了独占模式。
cudaMalloc3D error 3D tex 错误使用 Ax_mex all CUDA-capable devices are busy or unavailable
12-11
您遇到的错误信息 \"cudaMalloc3D error 3D tex 错误使用 Ax_mex all CUDA-capable devices are busy or unavailable\" 表明在尝试分配3D纹理内存时出现了问题，同时所有的CUDA设备都处于忙碌或不可用的状态。以下是一些可能的原因和解决方法： 1. **CUDA设备不可用**：确保您的系统中安装了正确版本的CUDA驱动，并且CUDA设备（通常是NVIDIA GPU）正常工作。您可以通过运行 `nvidia-smi` 命令来检查GPU的状态。 2. **内存不足**：3D纹理内存分配失败可能是因为GPU内存不足。您可以尝试释放一些GPU内存，或者在代码中优化内存使用。 3. **CUDA上下文问题**：有时候，CUDA上下文可能会出现问题，导致内存分配失败。您可以尝试重启CUDA设备或重新启动计算机。 4. **代码中的错误**：检查您的代码，确保在调用 `cudaMalloc3D` 之前，所有的CUDA设备初始化和上下文创建都已正确完成。 以下是一个简单的示例代码，展示了如何使用 `cudaMalloc3D` 分配3D纹理内存： ```cpp #include <cuda_runtime.h> #include <iostream> int main() { cudaError_t err; cudaDeviceProp prop; int device; err = cudaGetDevice(&device); if (err != cudaSuccess) { std::cerr << "cudaGetDevice failed: " << cudaGetErrorString(err) << std::endl; return 1; } err = cudaGetDeviceProperties(&prop, device); if (err != cudaSuccess) { std::cerr << "cudaGetDeviceProperties failed: " << cudaGetErrorString(err) << std::endl; return 1; } if (!prop.canMapHostMemory) { std::cerr << "Device cannot map host memory" << std::endl; return 1; } cudaSetDevice(device); cudaChannelFormatDesc channelDesc = cudaCreateChannelDesc(32, 0, 0, 0, cudaChannelFormatKindFloat); cudaExtent extent = make_cudaExtent(64, 64, 64); cudaPitchedPtr d_volume; err = cudaMalloc3D(&d_volume, extent); if (err != cudaSuccess) { std::cerr << "cudaMalloc3D failed: " << cudaGetErrorString(err) << std::endl; return 1; } // 释放内存 cudaFree(d_volume.ptr); return 0; } ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值