deepspeed 报错 up NCCL communicator and retreiving ncclUniqueId from [0] via c10d key-value store 解决

最新推荐文章于 2024-11-04 21:30:28 发布
最新推荐文章于 2024-11-04 21:30:28 发布
阅读量4.5k 收藏 3
点赞数 2
文章标签： AI编程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq874455953/article/details/134408257
版权
在使用deepspeed时遇到RuntimeError，报错源自c10dkey-valuestore获取ncclUniqueId失败，解决办法是检查并设置正确的NCCL_SOCKET_IFNAME，通常需要参考网络适配器名称。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

参考

https://github.com/NVIDIA/nccl/issues/708

问题

使用deepspeed的时候报错

RuntimeError: [1] is setting up NCCL communicator and retreiving ncclUniqueId from [0] via c10d key-value store by key ‘0’, but store->get(‘0’) got error: Connection reset by peer

解决方案

  1. 参看自己的网卡名字
ifconfig

在这里插入图片描述
2. 设置正确的NCCL_SOCKET_IFNAME

export NCCL_SOCKET_IFNAME=[前面得到的网卡名]

解决问题～

nccl-test报错，实际解决过程-实战生产
jundao1997的专栏
02-13 222
共享库文件未找到，这通常意味着 OpenMPI 或其他 MPI 实现的库路径没有正确包含在系统的库路径中。：确保使用的 MPI 版本与 NCCL 测试程序兼容。有时不同版本之间可能存在不兼容的情况。为了永久设置该环境变量，可以将其添加到你的 shell 配置文件（例如。：确保在编译时指定了正确的 MPI 路径。如果找不到，请确保你安装的是正确的版本。：确保所有依赖项都已正确安装。将 OpenMPI 的库路径添加到。如果有任何库未找到，请安装相应的包。通过以上步骤，你应该能够解决。通常，该文件应该位于。
ImportError: cannot import name ‘MultiModalData‘ from ‘vllm.sequence‘解决方案
热门推荐
weixin_43178406的博客
07-27 10万+
 本文主要介绍了ImportError: cannot import name ‘MultiModalData’ from 'vllm.sequence’解决方案，希望能对使用Python的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
解决报错RuntimeError: [1] is setting up NCCL communicator and retrieving ncclUniqueId from [0] via c10d
发现问题，并解决问题，批判性思维
01-06 5777
一、问题描述 二、解决方法 一、问题描述 在集群上使用deepspeed训练大模型报错：RuntimeError: [1] is setting up NCCL communicator and retrieving ncclUniqueId from [0] via c10d key-value store by key ‘0’, but store->get(‘0’) got error: Connection reset by peer 二、解决方法 可能是由于网络问题或节点之间的通信中断引起的。可
deepspeed 训练多机多卡报错 ncclSystemError Last error
高颜值的杀生丸(此博客转载自我的博客园)
04-18 1799
最近在搞分布式训练大模型，踩了两个晚上的坑今天终于爬出来了 我们使用 2台 8*H100 遇到过 错误1 10.255.19.85: ncclSystemError: System call (e.g. socket, malloc) or external library call failed or device error. 10.255.19.85: Last error:10.255....
torch.distributed.DistBackendError: [2] is setting up NCCL communicator and retrieving ncclUniqueId
weixin_43589681的博客
11-04 883
CUDA 错误：可能存在 CUDA 错误或资源不足的情况，导致某个 GPU 无法正常工作。在运行代码之前，使用 CUDA_VISIBLE_DEVICES 环境变量来指定可见的 GPU。1.NCCL版本问题：确保你的 NCCL 和 CUDA 驱动程序版本兼容。某些版本的 NCCL 可能在特定的硬件或 CUDA 版本上存在问题。网络问题：如果你的训练在多台机器上进行，可能存在网络连接问题。不同版本的 NCCL 或 CUDA：确保所有节点上安装的 NCCL 和 CUDA 版本相同，并且它们之间是兼容的。
解决容器内deepspeed微调大模型报错
dxf1017524157的博客
10-18 1867
deepspeed报错:[launch.py:315:sigkill_handler] Killing subprocess
NVIDIA NCCL 源码学习（一）- 初始化及ncclUniqueId的产生
KIDGIN7439的专栏
09-05 1万+
NCCL是英伟达开源的GPU通信库，支持集合通信和点对点通信
RuntimeError: NCCL error in:torch/lib/c10d/ProcessGroupNCCL.cpp:514, invalid usage, NCCL version 踩坑
Alex.W.的机器学习之路
10-29 5283
运行pytorch分布式任务时，可能在执行dist.barrier()这条代码时会触发NCCL错误：RuntimeError: NCCL error in: ../torch/lib/c10d/ProcessGroupNCCL.cpp:514, invalid usage, NCCL version。
RuntimeError: [5] is setting up NCCL communicator and retrieving ncclUniqueId from [0] via c10d key-value store by key '0', but store->get('0') got error: Connection reset by peer. This may indicate a possible application crash on rank 0 or a network set
最新发布
04-03
3. **Key-Value Store 超时**: 当尝试通过 c10d key-value store 获取 NCCL 唯一 ID 时发生超时或连接被重置[^3]。 --- #### 解决方法 ##### 方法一：优化网络环境 确保所有计算节点之间具有稳定的高速互联网络。...
WSL2，NCCL报错RuntimeError: NCCL Error 2: unhandled system error
cascgu的博客
11-03 8453
在WSL2上使用pytorch1.7.1，无法进行多显卡分布式训练，提示“RuntimeError: NCCL Error 2: unhandled system error”，一直不知道什么意思，后来上网搜索，发现可以打印nccl的日志 （链接） ，以获得更为详细的出错提示。随即在环境变量里添加了 export NCCL_DEBUG=info export NCCL_SOCKET_IFNAME=eth0 export NCCL_IB_DISABLE=1 再次训练，这次打印出了更为详细的错误信息。如下
RuntimeError: NCCL error in: /opt/ conda/ conda-bld/pytorch 1607370117127/work/ torch/lib/c10d/Proce
m0_49423868的博客
04-10 1万+
NCCL错误
nvidia-nccl 学习
TH_NUM的博客
07-18 2643
1.ncclResult_t ncclGetUniqueId(ncclUniqueId* uniqueId) 创建一个被初始化函数（ncclCommInitRank）使用的Id。该函数只能被调用一次（在整个分布式计算中只能被一个地方调用），调用后产生的Id需要分发给分布式任务中其他所有的任务，然后在进行ncclCommInitRank初始化操作（该初始化操作需要使用全局统一Id）。 comm...
RuntimeError: NCCL error in：XXX，unhandled system error, NCCL version 2.7.8
小李的研究生学习日记
10-03 1万+
分布式训练中遇到这个问题，RuntimeError: NCCL error in：XXX，unhandled system error, NCCL version 2.7.8
RuntimeError: NCCL Error 2: unhandled system error
qq_42548340的博客
12-12 5437
跑yolov5代码时报错 根据错误提醒找到NCCL位置 于是才反应过来是调用GPU的问题，于是改为单GPU训练 于是就可以完美运行。
Linux系统下解决“RuntimeError: (PreconditionNotMet) The third-party dynamic library (libnccl.so)...”报错
周周周周周大帅的博客
03-23 1万+
随便写写... 最近在用PaddlePaddle框架跑代码，遇到一些问题摸索了很久才有较为清晰的思路，在这里记录一下，希望可以帮助相同的朋友。 在使用Paddle进行多卡训练的时候，往往会遇到一下报错： RuntimeError: (PreconditionNotMet) The third-party dynamic library (libnccl.so) that Paddle depends on is not configured correctly. (error code is lib
MindSpore单卡GPU训练竟然报NCCL的错
weixin_45666880的博客
11-04 931
在训练MAE模型，GitHub上有有人实现好的代码https://github.com/yangyucheng000/mae，他是在Asecnd上多卡训练的，但是我只有单卡GPU，因此我把其中的代码都改成单卡GPU训练的模式了，在进行finetune的时候竟然报NCCL的错，但是在代码中我。根据报错信息，一定是脚本里面某个地方用到了通信，具体需要您再仔细检查一下您的运行脚本，如果确实找不到的话，您可以将对应修改后的脚本上传到gitee仓库并将仓库权限提交公开审核设置为公开后留言。请问这是怎么回事呢？
NCCL填坑
卟灵卟灵哒的博客
08-21 2万+
NCCL填坑简介篇章一篇章二篇章三篇章四篇章五篇章五 简介 简单介绍一下，我这新鲜热乎的坑。真的是太少见的了。本人在做pytorch分布式训练，晚上找了个小demo准备先让服务器热一下身。 顺手将共享文件传输改成了tcp传输dist.init_process_group(init_method='file:///home/****/nfstest',backend="gloo",world_size=4,group_name="pytorch_test")变为dist.init_process_group(
RuntimeError: NCCL error in: /pytorch/torch/lib/c10d/ProcessGroupNCCL.cpp:784, unhandled system erro
Brinshy的博客
06-30 2646
发现报错:RuntimeError: NCCL error in: /pytorch/torch/lib/c10d/ProcessGroupNCCL.cpp:784, unhandled system error想在linux上跑跑mmclassification中的resnet网络，但是报错，查阅资料后发现，第二个错误是由于第一个错误产生的。那么现在就要解决第一个报错。 第一个报错查阅了一堆资料后，发现是GPU使用数量的原因，但我电脑只有一个GPU，修改了配置文件后，依旧这样报错。有的博主是由于文件中有中
mmcv NCCL 报错 mmcv/_ext.cpython-37m-x86_64-linux-gnu.so: undefined symbol, RuntimeError: NCCL error i
Hello Word!
01-12 1981
【代码】mmcv报错 mmcv/_ext.cpython-37m-x86_64-linux-gnu.so: undefined symbol。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值