[ncclUnhandledCudaError] unhandled cuda error, NCCL version xx.x.x

[ncclUnhandledCudaError] unhandled cuda error, NCCL version xx.x.x

问题描述

分布式训练的时候遇到问题

RuntimeError: NCCL error in: ../torch/csrc/distributed/c10d/ProcessGroupNCCL.cpp:47, unhandled cuda error, NCCL version 21.0.3
ncclUnhandledCudaError: Call to CUDA function failed.

具体错误如下所示:

在这里插入图片描述

尝试解决

  1. RuntimeError: NCCL error in: /pytorch/torch/lib/c10d/ProcessGroupNCCL.cpp:492, internal error, NCCL version 2.4.8
    torch 官方论坛中建议 进行 NCCL test ,检查是否已经安装NCCL
  2. RuntimeError: NCCL error in: …/torch/lib/c10d/ProcessGroupNCCL.cpp:859, invalid usage, NCCL version
    优快云中说用了多个gpu,根据自己电脑配置修改下gpu个数即可

然而以上两种并没有解决问题。

问题解决

根据报错信息分析,分布式训练时在初始化的时候报错,并不是在训练的时候报错。因此,将问题定位到分布式训练初始化上。

输入一下命令,检查当前服务器的卡

nvidia-smi -L

发现第一张卡是3070

GPU 0: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 1: NVIDIA GeForce RTX 3070 (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 2: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 3: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 4: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 5: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 6: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)
GPU 7: NVIDIA GeForce RTX 2080 Ti (UUID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx)

于是,这里直接尝试使用2-7张卡进行训练。

正解!

### 解决方案分析 NCCL(NVIDIA Collective Communications Library)错误通常发生在多GPU环境中,尤其是在分布式训练过程中。当遇到 `NCCL Error 1: unhandled cuda error` 报错时,可能的原因包括但不限于以下几个方面: #### 可能原因及解决方案 1. **CUDA版本不兼容** 如果使用的CUDA驱动程序或库版本与当前硬件环境不符,则可能导致此类错误。建议验证安装的CUDA工具链是否匹配显卡架构以及PyTorch/TensorFlow等框架的要求[^1]。 2. **网络通信问题** NCCL依赖于底层网络协议来实现设备间的数据交换。如果存在网络配置不当或者节点之间无法正常通讯的情况,也会引发该类异常。可以通过设置环境变量`NCCL_DEBUG=INFO`获取更详细的日志信息以便定位具体位置。 3. **内存不足或其他资源限制** 当系统可用RAM不足以支持大规模张量操作时也可能触发类似的崩溃现象。尝试减少batch size大小或是优化模型结构降低计算需求;另外还需确认是否有其他进程占用了过多资源影响到深度学习任务执行效率。 4. **软件Bug 或 配置错误** 某些情况下可能是由于特定版本中存在的缺陷引起的问题,在这种情形下可以考虑升级至最新稳定版并查阅官方文档寻找已知issue及其对应fix方法。 以下是通过Python脚本形式展示如何调整部分参数以规避上述潜在风险的一个例子: ```python import os os.environ['NCCL_BLOCKING_WAIT'] = '1' # 启用阻塞模式等待所有rank完成初始化后再继续后续流程 os.environ['NCCL_SOCKET_NTHREADS'] = '8' os.environ['NCCL_NET_GDR_LEVEL'] = '0' def setup_distributed_environment(): import torch.distributed as dist rank = int(os.getenv('RANK', '0')) world_size = int(os.getenv("WORLD_SIZE", '1')) backend='nccl' init_method=f'tcp://localhost:{find_free_port()}' dist.init_process_group(backend,init_method=init_method, rank=rank,world_size=world_size) setup_distributed_environment() ``` 以上代码片段展示了如何自定义一些重要的NCCL选项并通过TCP方式建立连接来进行分布式的初始化过程。
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值