[ncclUnhandledCudaError] unhandled cuda error, NCCL version xx.x.x

[ncclUnhandledCudaError] unhandled cuda error, NCCL version xx.x.x

问题描述

分布式训练的时候遇到问题

RuntimeError: NCCL error in: ../torch/csrc/distributed/c10d/ProcessGroupNCCL.cpp:47, unhandled cuda error, NCCL version 21.0.3
ncclUnhandledCudaError: Call to CUDA function failed.

具体错误如下所示：

尝试解决

1. RuntimeError: NCCL error in: /pytorch/torch/lib/c10d/ProcessGroupNCCL.cpp:492, internal error, NCCL version 2.4.8
   torch 官方论坛中建议 进行 NCCL test ，检查是否已经安装NCCL
2. RuntimeError: NCCL error in: …/torch/lib/c10d/ProcessGroupNCCL.cpp:859, invalid usage, NCCL version
   优快云中说用了多个gpu，根据自己电脑配置修改下gpu个数即可

然而以上两种并没有解决问题。

问题解决

根据报错信息分析，分布式训练时在初始化的时候报错，并不是在训练的时候报错。因此，将问题定位到分布式训练初始化上。

输入一下命令，检查当前服务器的卡

nvidia-smi -L

发现第一张卡是3070

GPU 0: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 1: NVIDIA GeForce RTX 3070 (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 2: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 3: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 4: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 5: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 6: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 7: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)

于是，这里直接尝试使用2-7张卡进行训练。

正解！