deepspeed 训练多机多卡报错 ncclSystemError Last error

最新推荐文章于 2025-05-20 21:43:02 发布

原创

最新推荐文章于 2025-05-20 21:43:02 发布 · 1.9k 阅读

12 ·

CC 4.0 BY-SA版权

最近在搞分布式训练大模型，踩了两个晚上的坑今天终于爬出来了

我们使用 2台 8*H100

遇到过

错误1

10.255.19.85: ncclSystemError: System call (e.g. socket, malloc) or external library call failed or device error.
10.255.19.85: Last error:
10.255.19.85: socketStartConnect: Connect to 127.0.0.1<34273> failed : Software caused connection abort

错误2

10.255.19.82: torch.distributed.DistBackendError: [7] is setting up NCCL communicator and retrieving ncclUniqueId from [0] via c10d key-value store by key '0', but store->get('0') got error: Connection reset by

错误3

10.255.19.85: ncclInternalError: Internal check failed.
10.255.19.85: Last error:
10.255.19.85: Bootstrap : no socket interface found

其实这三个错误都是一个问题导致的，就是网卡配置的问题

这是之前的配置</