[ncclUnhandledCudaError] unhandled cuda error, NCCL version xx.x.x

最新推荐文章于 2025-09-11 06:31:03 发布
原创 最新推荐文章于 2025-09-11 06:31:03 发布 · 7k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #pytorch #人工智能 #python

本文档记录了在分布式训练过程中遇到的NCCL未处理CUDA错误的详细情况。尝试了官方论坛和优快云上的建议，如运行NCCL测试和调整GPU数量，但问题仍未解决。最终发现是因为混合使用了不同型号的GPU导致的问题，通过指定使用2-7号GPU进行训练成功解决了问题。
部署运行你感兴趣的模型镜像

[ncclUnhandledCudaError] unhandled cuda error, NCCL version xx.x.x

文章目录

问题描述

分布式训练的时候遇到问题

RuntimeError: NCCL error in: ../torch/csrc/distributed/c10d/ProcessGroupNCCL.cpp:47, unhandled cuda error, NCCL version 21.0.3
ncclUnhandledCudaError: Call to CUDA function failed.

具体错误如下所示：

在这里插入图片描述

尝试解决

  1. RuntimeError: NCCL error in: /pytorch/torch/lib/c10d/ProcessGroupNCCL.cpp:492, internal error, NCCL version 2.4.8
    torch 官方论坛中建议 进行 NCCL test ，检查是否已经安装NCCL
  2. RuntimeError: NCCL error in: …/torch/lib/c10d/ProcessGroupNCCL.cpp:859, invalid usage, NCCL version
    优快云中说用了多个gpu，根据自己电脑配置修改下gpu个数即可

然而以上两种并没有解决问题。

问题解决

根据报错信息分析，分布式训练时在初始化的时候报错，并不是在训练的时候报错。因此，将问题定位到分布式训练初始化上。

输入一下命令，检查当前服务器的卡

nvidia-smi -L

发现第一张卡是3070

GPU 0: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 1: NVIDIA GeForce RTX 3070 (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 2: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 3: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 4: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 5: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 6: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 7: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)

于是，这里直接尝试使用2-7张卡进行训练。

正解！

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

【NVIDIA-H100-nccl_test排错1】Test CUDA failure common.cu:1030 ‘system not yet initialized‘
jundao1997的专栏
06-24 337
这个命令用于运行 NCCL（NVIDIA Collective Communications Library）测试套件里的程序，其主要目的是评估 AllReduce 操作在 GPU 上的性能表现。AllReduce 操作是并行计算中一种关键的集体通信操作，它会对所有进程的数据进行归约，然后将结果广播给所有进程。
NCCL error in: ../torch/lib/c10d/ProcessGroupNCCL.cpp:825, unhandled system error, NCCL version 2.7.
Drug discovery
07-04 3419
今天遇到一个错误，一直以为是配置有问题，其实好像是环境版本问题。
解决 NCCL WARN Cuda failure ‘invalid device function‘ , unhandled cuda error, NCCL version 2.4.8
znsoft的专栏
08-15 3619
注意最后一行： enqueue.cc:197 NCCL WARN Cuda failure 'invalid device function'运行nvidia-smi 后得到的版本要和pytorch安装 时的版本一样，我的是： CUDA Version: 11.7。
ROCm项目中vLLM多GPU运行NCCL错误分析与解决方案
最新发布
gitblog_00185的博客
09-11 801
在ROCm 6.2.0环境下使用vLLM框架运行Qwen2.5-14B-Instruct大语言模型时，用户遇到了一个典型的多GPU并行计算问题。当尝试通过`--tensor-parallel-size`参数启用多GPU并行计算时，系统报出NCCL通信错误，导致模型无法正常启动。 ## 现象描述 用户在使用单GPU运行模型时表现正常，日志显示服务成功启动并监听8000端口。然而当添加`--ten...
ncclUnhandledCudaError: Call to CUDA function failed.
2301_78389786的博客
05-28 2450
训练又报新的错误，ModuleNotFoundError: No module named 'fused_layer_norm_cuda'。在没有被选用训练的GPU上进行测试，发现可以正常训练模型。后来查看进程，发现训练所选用GPU进程太多。一开始，以为是cuda版本和NCCL版本不匹配导致的问题，升级cuda后问题仍然存在。怀疑是进程太多卡住了，运行下面指令后重新训练。在网上查询发现是apex的错误，卸载apex。
NCCL报错
weixin_44935703的博客
10-17 2118
可以添加环境变量显示log。
unhandled cuda error, NCCL version 2.7.8问题解决
weixin_45828972的博客
06-15 2334
设置环境变量来获取更详细的错误信息。框架进行分布式训练时，遇到NCLL相关错误。
unhandled cuda error, NCCL version 2.10.3报错解决
a_145133的博客
05-08 4328
这个警告并不会导致代码运行中止，但是给了我启发，我觉得可能就是torch版本与cuda版本不匹配，自然与NCCL也不匹配，于是我删除了torch，使用pytorch官网提供的与本电脑匹配的安装命令行来安装，安装后果然问题解决。在运行这个模型时，我是直接使用require.txt来配置环境的，但是使用这个配置环境是比较死板的，并没有考虑到每个人的电脑本身的各项参数配置。分析：NCCL:一般来是是在配置cuda时就已经配置好了对应版本的NCCL了。之后根据pytorch官网给的命令安装pytorch即可。
RuntimeError: NCCL error in：XXX，unhandled system error, NCCL version 2.7.8
weixin_51736742的博客
08-30 1万+
1.问题 pytorch 分布式训练中遇到这个问题， 2.原因 大概是没有启动并行运算？？？（有懂得大神请指教） 3.解决方案 （1）首先看一下服务器GPU相关信息 进入pytorch终端（Terminal） 输入代码查看 python torch.cuda.is_available()#查看cuda是否可用； torch.cuda.device_count()#查看gpu数量； torch.cuda.get_device_name(0)#查看gpu名字，设备索引默认从0开始； torch.cuda.cu
PaddleOCR多卡运行时报错 NCCL error
没有胡萝卜的博客
07-31 1181
（背景环境：linux+anaconda，CUDA Version: 12.0，无root权限，虚拟环境命名为paddle_env）点击esc按键，输入“：wq”保存。文件夹，执行下面的命令将。2、进入nccl文件夹。
mmcv NCCL 报错 mmcv/_ext.cpython-37m-x86_64-linux-gnu.so: undefined symbol, RuntimeError: NCCL error i
Hello Word!
01-12 2129
【代码】mmcv报错 mmcv/_ext.cpython-37m-x86_64-linux-gnu.so: undefined symbol。
what(): NCCL Error 1: unhandled cuda error解决方法
阿正的梦工坊
08-30 5467
torch，cudatoolkit和cuda驱动版本要适配
what(): NCCL Error 1: unhandled cuda error Aborted (core dumped)、RuntimeError: no valid convolution
weixin_44012667的博客
05-23 576
RuntimeError: NCCL Error 1: unhandled cuda error · Issue #11756 · pytorch/pytorch --- RuntimeError：NCCL 错误 1：未处理的 cuda 错误 · 问题 #11756 · pytorch/pytorch (github.com)仅使用一个GPU时有效。
OSError: (External) Nccl error, unhandled cuda error (at /paddle/paddle/fluid/platform/collective_
Learning from the mistakes
11-29 3715
最近使用Paddle运行多卡程序的时候，出现了下面的错误： Traceback (most recent call last): File "train_pairwise.py", line 238, in <module> do_train() File "train_pairwise.py", line 116, in do_train paddle.distributed.init_parallel_env() File "/root/anaconda3/lib
NCCL error in: /pytorch/torch/lib/c10d/ProcessGroupNCCL ,unhandled cuda error, NCCLversion 2.7.8
热门推荐
进一寸有一寸的欢喜
04-24 2万+
结论 pytorch 、cudatoolkit、cuda驱动的版本需一致 问题描述 使用多GPU训练 stylegan3 模型时： python train.py --outdir=training-runs --cfg=stylegan3-r \ --data=datastes/your_data.zip \ --cfg=stylegan3-r --gpus=4 --batch=32 --gamma=8 --kimg=1800 --snap=50 --tick=2 报错信息 torch.
GPU 调用问题：failed call to cuInit: CUDA_ERROR_NO_DEVICE: no CUDA-capable device is detected
清风拂面
04-24 2460
Tensorflow—gpu版，无法使用gpu进行训练，报错： failed call to cuInit: CUDA_ERROR_NO_DEVICE: no CUDA-capable device is detected 原因：只要训练文件、调用文件中有一个文件添加如下语句 os.environ["CUDA_VISIBLE_DEVICES"] = "-1"都会禁用掉gpu ...
terminate called after throwing an instance of ‘std::runtime_error‘ what(): NCCL Error 1: unhandled
weixin_44012667的博客
05-22 696
RuntimeError: NCCL Error 1: unhandled cuda error · Issue #11756 · pytorch/pytorch --- RuntimeError：NCCL 错误 1：未处理的 cuda 错误 · 问题 #11756 · pytorch/pytorch (github.com)
NVIDIA显卡驱动旧版本下载安装+CUDA下载+cudnn下载+解决CUDNN_STATUS_INTERNAL_ERROR+Failed to call ThenRnnForward
caicaiyunyun的博客
02-20 4865
出问题后首先卸载了Anaconda，CUDA, 版本匹配查询链接 https://tensorflow.google.cn/install/source_windows#gpu 重启 安装Anaconda版本：Anaconda3-5.2.0-Windows-x86_64.exe 添加镜像 conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/main/ conda config --add channels https:/
VSR dataset
leefly072的博客
07-08 2107
123
NCCL 测试中出现 ‘unhandled cuda error’ 应如何排查？
07-20
在 NCCL 测试过程中出现 `unhandled cuda error` 错误时，需要从多个层面进行排查，包括硬件、驱动、CUDA 环境、NCCL 配置以及软件依赖等。以下是详细的排查方法和解决建议： ### 1. 检查 CUDA 驱动和版本兼容性 ...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值