[ncclUnhandledCudaError] unhandled cuda error, NCCL version xx.x.x

最新推荐文章于 2024-07-31 17:42:05 发布
最新推荐文章于 2024-07-31 17:42:05 发布
阅读量6.6k 收藏 6
点赞数 3
CC 4.0 BY-SA版权
分类专栏： torch 分布式训练 文章标签： 深度学习 pytorch 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_43573112/article/details/126366972

[ncclUnhandledCudaError] unhandled cuda error, NCCL version xx.x.x

文章目录

问题描述

分布式训练的时候遇到问题

RuntimeError: NCCL error in: ../torch/csrc/distributed/c10d/ProcessGroupNCCL.cpp:47, unhandled cuda error, NCCL version 21.0.3
ncclUnhandledCudaError: Call to CUDA function failed.

具体错误如下所示：

在这里插入图片描述

尝试解决

  1. RuntimeError: NCCL error in: /pytorch/torch/lib/c10d/ProcessGroupNCCL.cpp:492, internal error, NCCL version 2.4.8
    torch 官方论坛中建议 进行 NCCL test ，检查是否已经安装NCCL
  2. RuntimeError: NCCL error in: …/torch/lib/c10d/ProcessGroupNCCL.cpp:859, invalid usage, NCCL version
    优快云中说用了多个gpu，根据自己电脑配置修改下gpu个数即可

然而以上两种并没有解决问题。

问题解决

根据报错信息分析，分布式训练时在初始化的时候报错，并不是在训练的时候报错。因此，将问题定位到分布式训练初始化上。

输入一下命令，检查当前服务器的卡

nvidia-smi -L

发现第一张卡是3070

GPU 0: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 1: NVIDIA GeForce RTX 3070 (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 2: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 3: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 4: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 5: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 6: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 7: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)

于是，这里直接尝试使用2-7张卡进行训练。

正解！

mmcv NCCL 报错 mmcv/_ext.cpython-37m-x86_64-linux-gnu.so: undefined symbol, RuntimeError: NCCL error i
Hello Word!
01-12 2001
【代码】mmcv报错 mmcv/_ext.cpython-37m-x86_64-linux-gnu.so: undefined symbol。
分布式训练遇到问题：NCCL通信相关问题
weixin_42357472的博客
03-20 1238
3、如果服务器含有网卡比较多（或者docker服务影响），可以torchrun指定具体能互相通信的网卡，可以ifconfig查看。下面两台机器通信10.12.100.1、10.12.100.2是分别通过em2、eno4网卡通信，如果不指定容易报错。添加后检查互相机器上ping hostname 或ping ip是否通。1、相互机器互相hosts文件添加对应ip与hostname。解决方法（主要是网络通信问题）机器二： ip在 eno4上。机器一： ip在 em2上。2、机器都需要关闭防火墙。
ncclUnhandledCudaError: Call to CUDA function failed.
2301_78389786的博客
05-28 1938
训练又报新的错误，ModuleNotFoundError: No module named 'fused_layer_norm_cuda'。在没有被选用训练的GPU上进行测试，发现可以正常训练模型。后来查看进程，发现训练所选用GPU进程太多。一开始，以为是cuda版本和NCCL版本不匹配导致的问题，升级cuda后问题仍然存在。怀疑是进程太多卡住了，运行下面指令后重新训练。在网上查询发现是apex的错误，卸载apex。
NCCL报错
weixin_44935703的博客
10-17 1785
可以添加环境变量显示log。
unhandled cuda error, NCCL version 2.7.8问题解决
weixin_45828972的博客
06-15 1600
设置环境变量来获取更详细的错误信息。框架进行分布式训练时，遇到NCLL相关错误。
unhandled cuda error, NCCL version 2.10.3报错解决
a_145133的博客
05-08 3892
这个警告并不会导致代码运行中止，但是给了我启发，我觉得可能就是torch版本与cuda版本不匹配，自然与NCCL也不匹配，于是我删除了torch，使用pytorch官网提供的与本电脑匹配的安装命令行来安装，安装后果然问题解决。在运行这个模型时，我是直接使用require.txt来配置环境的，但是使用这个配置环境是比较死板的，并没有考虑到每个人的电脑本身的各项参数配置。分析：NCCL:一般来是是在配置cuda时就已经配置好了对应版本的NCCL了。之后根据pytorch官网给的命令安装pytorch即可。
RuntimeError: NCCL error in：XXX，unhandled system error, NCCL version 2.7.8
weixin_51736742的博客
08-30 1万+
1.问题 pytorch 分布式训练中遇到这个问题， 2.原因 大概是没有启动并行运算？？？（有懂得大神请指教） 3.解决方案 （1）首先看一下服务器GPU相关信息 进入pytorch终端（Terminal） 输入代码查看 python torch.cuda.is_available()#查看cuda是否可用； torch.cuda.device_count()#查看gpu数量； torch.cuda.get_device_name(0)#查看gpu名字，设备索引默认从0开始； torch.cuda.cu
PaddleOCR多卡运行时报错 NCCL error
没有胡萝卜的博客
07-31 940
（背景环境：linux+anaconda，CUDA Version: 12.0，无root权限，虚拟环境命名为paddle_env）点击esc按键，输入“：wq”保存。文件夹，执行下面的命令将。2、进入nccl文件夹。
WSL2，NCCL报错RuntimeError: NCCL Error 2: unhandled system error
cascgu的博客
11-03 8486
在WSL2上使用pytorch1.7.1，无法进行多显卡分布式训练，提示“RuntimeError: NCCL Error 2: unhandled system error”，一直不知道什么意思，后来上网搜索，发现可以打印nccl的日志 （链接） ，以获得更为详细的出错提示。随即在环境变量里添加了 export NCCL_DEBUG=info export NCCL_SOCKET_IFNAME=eth0 export NCCL_IB_DISABLE=1 再次训练，这次打印出了更为详细的错误信息。如下
解决 NCCL WARN Cuda failure ‘invalid device function‘ , unhandled cuda error, NCCL version 2.4.8
znsoft的专栏
08-15 3197
注意最后一行： enqueue.cc:197 NCCL WARN Cuda failure 'invalid device function'运行nvidia-smi 后得到的版本要和pytorch安装 时的版本一样，我的是： CUDA Version: 11.7。
what(): NCCL Error 1: unhandled cuda error解决方法
阿正的梦工坊
08-30 4500
torch，cudatoolkit和cuda驱动版本要适配
what(): NCCL Error 1: unhandled cuda error Aborted (core dumped)、RuntimeError: no valid convolution
weixin_44012667的博客
05-23 468
RuntimeError: NCCL Error 1: unhandled cuda error · Issue #11756 · pytorch/pytorch --- RuntimeError：NCCL 错误 1：未处理的 cuda 错误 · 问题 #11756 · pytorch/pytorch (github.com)仅使用一个GPU时有效。
OSError: (External) Nccl error, unhandled cuda error (at /paddle/paddle/fluid/platform/collective_
Learning from the mistakes
11-29 3615
最近使用Paddle运行多卡程序的时候，出现了下面的错误： Traceback (most recent call last): File "train_pairwise.py", line 238, in <module> do_train() File "train_pairwise.py", line 116, in do_train paddle.distributed.init_parallel_env() File "/root/anaconda3/lib
NCCL error in: /pytorch/torch/lib/c10d/ProcessGroupNCCL ,unhandled cuda error, NCCLversion 2.7.8
热门推荐
进一寸有一寸的欢喜
04-24 2万+
结论 pytorch 、cudatoolkit、cuda驱动的版本需一致 问题描述 使用多GPU训练 stylegan3 模型时： python train.py --outdir=training-runs --cfg=stylegan3-r \ --data=datastes/your_data.zip \ --cfg=stylegan3-r --gpus=4 --batch=32 --gamma=8 --kimg=1800 --snap=50 --tick=2 报错信息 torch.
GPU 调用问题：failed call to cuInit: CUDA_ERROR_NO_DEVICE: no CUDA-capable device is detected
清风拂面
04-24 2436
Tensorflow—gpu版，无法使用gpu进行训练，报错： failed call to cuInit: CUDA_ERROR_NO_DEVICE: no CUDA-capable device is detected 原因：只要训练文件、调用文件中有一个文件添加如下语句 os.environ["CUDA_VISIBLE_DEVICES"] = "-1"都会禁用掉gpu ...
terminate called after throwing an instance of ‘std::runtime_error‘ what(): NCCL Error 1: unhandled
weixin_44012667的博客
05-22 564
RuntimeError: NCCL Error 1: unhandled cuda error · Issue #11756 · pytorch/pytorch --- RuntimeError：NCCL 错误 1：未处理的 cuda 错误 · 问题 #11756 · pytorch/pytorch (github.com)
NVIDIA显卡驱动旧版本下载安装+CUDA下载+cudnn下载+解决CUDNN_STATUS_INTERNAL_ERROR+Failed to call ThenRnnForward
caicaiyunyun的博客
02-20 4671
出问题后首先卸载了Anaconda，CUDA, 版本匹配查询链接 https://tensorflow.google.cn/install/source_windows#gpu 重启 安装Anaconda版本：Anaconda3-5.2.0-Windows-x86_64.exe 添加镜像 conda config --add channels https://mirrors.ustc.edu.cn/anaconda/pkgs/main/ conda config --add channels https:/
NCCL error in: ../torch/lib/c10d/ProcessGroupNCCL.cpp:825, unhandled system error, NCCL version 2.7.
Drug discovery
07-04 2936
今天遇到一个错误，一直以为是配置有问题，其实好像是环境版本问题。
VSR dataset
leefly072的博客
07-08 2020
123
10:57:11 Task has been received. 10:57:11 Page(13~17): [ERROR]Fail to bind embedding model: NCCL Error 1: unhandled cuda error (run with NCCL_DEBUG=INFO for details) 10:57:11 [ERROR][Exception]: NCCL Error 1: unhandled cuda error (run with NCCL_DEBUG=INFO for details) 10:57:11 Task has been received. 10:57:11 Page(1~13): [ERROR]Fail to bind embedding model: NCCL Error 1: unhandled cuda error (run with NCCL_DEBUG=INFO for details) 10:57:11 [ERROR][Exception]: NCCL Error 1: unhandled cuda error (run with NCCL_DEBUG=INFO for details)ragflpw
最新发布
04-05
### 解决方案分析 NCCL（NVIDIA Collective Communications Library）错误通常发生在多GPU环境中，尤其是在分布式训练过程中。当遇到 `NCCL Error 1: unhandled cuda error` 报错时，可能的原因包括但不限于以下几个方面： #### 可能原因及解决方案 1. **CUDA版本不兼容** 如果使用的CUDA驱动程序或库版本与当前硬件环境不符，则可能导致此类错误。建议验证安装的CUDA工具链是否匹配显卡架构以及PyTorch/TensorFlow等框架的要求[^1]。 2. **网络通信问题** NCCL依赖于底层网络协议来实现设备间的数据交换。如果存在网络配置不当或者节点之间无法正常通讯的情况，也会引发该类异常。可以通过设置环境变量`NCCL_DEBUG=INFO`获取更详细的日志信息以便定位具体位置。 3. **内存不足或其他资源限制** 当系统可用RAM不足以支持大规模张量操作时也可能触发类似的崩溃现象。尝试减少batch size大小或是优化模型结构降低计算需求；另外还需确认是否有其他进程占用了过多资源影响到深度学习任务执行效率。 4. **软件Bug 或 配置错误** 某些情况下可能是由于特定版本中存在的缺陷引起的问题，在这种情形下可以考虑升级至最新稳定版并查阅官方文档寻找已知issue及其对应fix方法。 以下是通过Python脚本形式展示如何调整部分参数以规避上述潜在风险的一个例子: ```python import os os.environ['NCCL_BLOCKING_WAIT'] = '1' # 启用阻塞模式等待所有rank完成初始化后再继续后续流程 os.environ['NCCL_SOCKET_NTHREADS'] = '8' os.environ['NCCL_NET_GDR_LEVEL'] = '0' def setup_distributed_environment(): import torch.distributed as dist rank = int(os.getenv('RANK', '0')) world_size = int(os.getenv("WORLD_SIZE", '1')) backend='nccl' init_method=f'tcp://localhost:{find_free_port()}' dist.init_process_group(backend,init_method=init_method, rank=rank,world_size=world_size) setup_distributed_environment() ``` 以上代码片段展示了如何自定义一些重要的NCCL选项并通过TCP方式建立连接来进行分布式的初始化过程。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值