slurm集群执行作业出现RuntimeError: No CUDA GPUs are available、CUDA_LAUNCH_BLOCKING=1等问题。

原创

已于 2023-03-06 19:55:35 修改 · 2.1k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#python #开发语言

于 2023-03-06 15:33:47 首次发布

文章描述了在使用sbatch执行.sh脚本时遇到CUDA无法找到GPU的问题，通过检查代码、更新环境变量、修改.sh文件格式、重新安装PyTorch匹配CUDA版本，最终成功解决问题。关键操作包括设置SBATCH参数、使用conda安装指定版本的PyTorch以及设置CUDA_LAUNCH_BLOCKING。

问题描述

当我写好脚本sh文件后用sbatch执行后发现，总是会报RuntimeError: No CUDA GPUs are available。
找了找办法，在main.py代码里加了两句：

print(torch.cuda.device_count())
print(torch.cuda.is_available())

结果：

0
False

用squeue -l查看当前进程状态，发现其已经在计算节点comput8上，难不成计算节点8没有GPU？
查了一下comput8节点的资源情况 sinfo -o "%all" -N -n comput8：

在这里插入图片描述
明明是有的。
最终，把脚本sh文件的内容改了一下重新保存，发现可能是之前脚本文件没有读进去导致的？因为改了之后至少python代码中.cuda()的部分不报错了。
把.sh文件改为如下：

#!/bin/bash
#SBATCH -J MICRO # 作业名
#SBATCH -N 1 # 申请节点数
#SBATCH --output=/public/home/robertchen/ylzhang20215227085/MICRO/codes/slurm/slurm.out # 输出slurm.out日志文件目录
#SBATCH --gres=gpu:1 # 指定我们需要使用 1 个 GPU 设备
#SBATCH --ntasks-per-node=8

source activate ylzhang20215227085-MICRO
nvidia-smi
python ./main.py

还有一种可能，是在代码中用了 os.environ[“CUDA_VISIBLE_DEVICES”] = str(args.gpu_id) 指定gpu id。这样也会报No GPU available！

然后不报之前.cuda()的No GPU avaliable错误了，而且输出显示，torch打印cuda的代码输出GPU检测到了（结果中的1和True是之前在main.py函数中加的print函数打印出torch.cuda的信息）：

Mon Mar  6 14:36:48 2023       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 470.42.01    Driver Version: 470.42.01    CUDA Version: 11.4     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        P