caffe + nccl 实现多卡训练

最新推荐文章于 2025-06-18 14:07:06 发布

wonengguwozai

最新推荐文章于 2025-06-18 14:07:06 发布

阅读量2k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： caffe 深度学习库相关

本文链接：https://blog.youkuaiyun.com/wonengguwozai/article/details/81485681

深度学习库相关同时被 2 个专栏收录

30 篇文章

订阅专栏

caffe

22 篇文章

订阅专栏

本文介绍如何在Ubuntu16.04系统上安装NCCL v2.13版本，适用于CUDA 9.0，并提供了详细的步骤指导，包括安装deb软件包、更新apt源及安装libnccl2和libnccl-dev等关键组件。此外还介绍了如何在Caffe中配置使用NCCL。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

安装环境：

ubuntu1604
CUDA Version 9.0
64位操作系统

下载路径：

按照官网提示下载相应版本：（v2.13）
nccl-repo-ubuntu1604-2.2.13-ga-cuda9.0_1-1_amd64.deb

#注：v1版本的nccl的下载地址在GitHub上（支持多卡，不支持多机），v2版本的在官网上进行（支持多机多卡）

安装步骤（参照官网）：

1、安装deb软件包
sudo dpkg -i nccl-repo-<version>.deb  


2、更新apt源
sudo apt update
#注：在更新过程中可能会出错，根据出错提示参考操作即可


3、Install the libnccl2 package with APT. Additionally, if you need to compile applications with NCCL, you can install the libnccl-dev package as well:
sudo apt install libnccl2 libnccl-dev

caffe配置：

设置Makefile.config

1、打开开关： USE_NCCL := 1
2、添加nccl库路径（我是由dpkg包安装时动态库生成在了默认路径/usr/lib/...下(为默认搜索路径)，所以不需要在makefile文件中指定路径，这步看个人安装情况吧）
INCLUDE_DIRS += /path/nccl/build/include
LIBRARY_DIRS += /path/nccl/build/lib