集群管理——（6）caffe多片gpu nccl配置

最新推荐文章于 2025-03-13 00:58:09 发布

dovepym

最新推荐文章于 2025-03-13 00:58:09 发布

阅读量3.2k

点赞数 2

分类专栏：集群 ubuntu-配置文章标签：集群 gpu nccl

本文链接：https://blog.youkuaiyun.com/qq_38731633/article/details/78416408

版权

本文详细介绍了如何在CUDA 9.0环境下配置NCCL2，包括从NVIDIA官网或百度网盘下载所需文件，安装libnccl2和libnccl-dev包。当遇到CUDA版本不兼容问题时，退而安装NCCL1，并解决gcc版本过低的问题。最后，通过修改Caffe的Makefile.config启用NCCL支持，完成多GPU训练的配置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

NCCL是Nvidia Collective multi-GPU Communication Library的简称，它是一个实现多GPU的collective communication通信（all-gather, reduce, broadcast）库，Nvidia做了很多优化，以在PCIe、Nvlink、InfiniBand上实现较高的通信速度。
之前我们使用digits5的时候可以采用多片卡协同工作，但是后来发现那个并没有多大的使用价值（除了演示）,于是自己配置我们的caffe.我们采用了八片NVIDIA显卡，是支持NCCL的类型（中低端显卡不支持这个，NVIDIA官网列出来的），之前在编译CAFFE的时候并没有开通USE_NCCL=1的选项，现在我开始配置NCCL来充分利用多块显卡的优势。
网上资料并不全，需要自己慢慢摸索：

一：准备上手nccl2(最好cuda9.0以上！！！）
nvidia官方说明：http://docs.nvidia.com/deeplearning/sdk/nccl-install-guide/index.html#down
nvidia官方nccl下载地址:https://developer.nvidia.com/nccl/nccl-download