Pytorch多机多卡训练报错ncclSystemError: System call (e.g. socket, malloc) or external library call failed

Q: torch.distributed.DistBackendError: [3] is setting up NCCL communicator and retrieving ncclUniqueId from [0] via c10d key-value store by key ‘0’, but store->get(‘0’) got error: failed to recv, got 0 bytes

主机报错提示：

从机报错提示：

A: 这是由于网卡设置有问题

通过ifconfig命令查看两台主机网卡情况：

主机的网卡信息：

从机网卡信息：

可以看出，他们的网卡名称不同
所以，问题主要出现在 环境变量NCCL_SOCKET_IFNAME ，这个环境变量会被携带到其他机器上，
因此，需要分别定义不同机器上的显卡名称
主机上设置：

export NCCL_SOCKET_IFNAME=eno1

从机上设置：

export NCCL_SOCKET_IFNAME=enp6s0

再次实验，无问题
主机训练日志：

从机训练日志：