NotImplementedError: Using RTX 4000 series doesn‘t support faster communication broadband via P2P or

问题

NotImplementedError: Using RTX 4000 series doesn’t support faster communication broadband via P2P or IB. Please set NCCL_P2P_DISABLE="1" and NCCL_IB_DISABLE="1" or use accelerate launch` which will do this automatically.

这个错误提示表明，NVIDIA RTX 4000系列的GPU不支持通过P2P（点对点通信）或InfiniBand进行更快的通信带宽。因此，需要通过设置环境变量来禁用这些通信机制，以避免不兼容的操作。

解决方案：

设置环境变量： 在运行程序之前，手动设置以下环境变量可以解决这个问题：

export NCCL_P2P_DISABLE=1
export NCCL_IB_DISABLE=1

这将禁用NCCL中P2P和InfiniBand通信，防止不兼容的操作。

背后原因：

• RTX 4000系列的某些硬件特性可能不支持P2P或InfiniBand，因此需要禁用这些更快的通信方式，转而使用其他通信机制如共享内存或TCP/IP。

通过上述方法，你可以避免不支持的操作并正常运行程序。

---

补充知识

在 NVIDIA 的 NCCL（NVIDIA Collective Communications Library）库中，NCCL_P2P_Disable、NCCL_SHM_Disable 和 NCCL_IB_DISABLE 是三个关键环境变量，它们控制多GPU通信的不同机制，分别影响节点内和节点间的通信效率。

1. NCCL_P2P_Disable：禁用GPU之间的点对点（P2P）通信。P2P允许直接访问其他GPU的内存，禁用后，GPU间无法直接交换数据，只能通过其他方式进行通信。

2. NCCL_SHM_Disable：禁用同一节点内的共享内存通信。共享内存允许同一节点的GPU或CPU之间通过内存直接交换数据，禁用后，节点内的GPU通信需要依赖网络接口，增加延迟。

3. NCCL_IB_DISABLE：禁用InfiniBand（IB）通信，适用于跨节点的GPU通信。InfiniBand通常用于分布式训练，禁用后，将使用较慢的网络如TCP/IP，导致跨节点通信效率降低。

• 当 NCCL_P2P_Disable 和 NCCL_SHM_Disable 都被禁用时，同一节点内的通信会非常受限，GPU之间将不能使用高效的P2P或共享内存，可能不得不依赖网络通信。
• 如果同时设置 NCCL_IB_DISABLE，跨节点的通信也不能使用InfiniBand，只能通过较慢的TCP/IP进行。

总的来说，禁用这些变量中的任何一个都会影响性能，如果全部禁用，会导致NCCL无法使用高效的通信机制，严重降低多GPU和分布式训练的性能。