nccl-test报错，实际解决过程-实战生产

最新推荐文章于 2025-02-22 07:28:35 发布
最新推荐文章于 2025-02-22 07:28:35 发布
阅读量223 收藏
点赞数
分类专栏： AI大模型底层建设 文章标签： chrome 前端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jundao1997/article/details/145618484
版权

 

目录

报错日志

解决步骤

步骤 1: 确认 OpenMPI 已安装

步骤 2: 检查 libmpi.so.40 文件位置

步骤 3: 更新库路径

方法 1: 使用 ldconfig

方法 2: 设置 LD_LIBRARY_PATH 环境变量

步骤 4: 验证库路径是否生效

步骤 5: 重新运行测试

其他可能的问题和解决方案

报错日志

fs@h1-6-gpu:~/nccl-tests$ cd /home/fs
fs@h1-6-gpu:~$ git clone https://github.com/NVIDIA/nccl-tests.git 
fatal: destination path 'nccl-tests' already exists and is not an empty directory.
fs@h1-6-gpu:~$ cd nccl-tests  && make MPI=1 MPI_HOME=/usr/lib/x86_64-linux-gnu/openmpi/
make -C src build BUILDDIR=/home/fs/nccl-tests/build
make[1]: Entering directory '/home/fs/nccl-tests/src'
make[1]: Leaving directory '/home/fs/nccl-tests/src'
fs@h1-6-gpu:~/nccl-tests$ ./build/all_reduce_perf -b 8 -e 512M -f 2 -g 8
./build/all_reduce_per
了解本专栏 订阅专栏 解锁全文 超级会员免费看
【wenet实战】一篇文章教你如何修改样例aishell-1，训练自己的个性化语音模型！
帅小柏的博客
08-24 300
一篇文章教你如何修改样例aishell-1，训练自己的个性化语音模型！
LLM系列(4)：通义千问7B在Swift/DeepSpeed上微调秘诀与实战陷阱避坑指南
丨汀、的博客
05-01 1439
LLM系列(4)：通义千问7B在Swift/DeepSpeed上微调秘诀与实战陷阱避坑指南
2. 多机多卡运行nccl-tests对比分析
Pretend的博客
04-24 5213
NCCL是深度学习训练中的一个关键组件，因为它能够有效地在多个GPU之间传输数据，这对于加速神经网络的训练非常重要。在现代的深度学习框架中，如TensorFlow、PyTorch和Keras，NCCL通常作为后端通信库，与框架的API紧密集成，为用户提供一个简单易用的编程接口。 这里通过使用不同的网络配置，在双机进行了nccl-test测试，获得了不同的结果，并尝试进行简单分析。
nccl-tests:NCCL测试
05-04
NCCL测试 这些测试同时检查操作的性能和正确性。 建造 要构建测试，只需键入make 。 如果未在/ usr / local / cuda中安装CUDA，则可以指定CUDA_HOME。 同样，如果未在/ usr中安装NCCL，则可以指定NCCL_HOME。 $ make CUDA_HOME=/path/to/cuda NCCL_HOME=/path/to/nccl NCCL测试依赖MPI来处理多个进程，因此可以处理多个节点。 如果要编译具有MPI支持的测试，则需要设置MPI = 1并将MPI_HOME设置为MPI的安装路径。 $ make MPI=1 MPI_HOME=/path/to/mpi CUDA_HOME=/path/to/cuda NCCL_HOME=/path/to/nccl 用法 NCCL测试可以在多个进程，多个线程以及每个线程多个CUDA设备上运行。 进程数由MP
NCCL，NCCL-tests下载安装教程，测试和错误解决
爱串门的小马驹博客
02-22 1438
按理这一期该录个实操视频的，可惜缺卡，哈哈哈，等赚钱了买卡补录。
nccl-test多机多卡测试
bmseven的博客
07-03 3474
NCCL（NVIDIA Collective Communications Library）是由 NVIDIA 开发的一种高性能的多 GPU 通信库，用于在多个 NVIDIA GPU 之间实现快速的数据传输和协同计算。它可以在深度学习和高性能计算领域中提供分布式训练和数据并行加速的支持。
NCCL测试
强化学习曾小健
07-22 1242
整个输出显示了 NCCL 在指定条件下的性能测试结果，表明测试成功且性能表现良好。如果你有进一步的问题或需要详细分析某个部分，请告诉我！
【分布式】入门级NCCL多机并行实践 - 02
参谋谋的博客
10-20 7238
大模型和分布式训练对数据的吞吐量以及并行度都有很高的要求，NCCL就是在这个背景下诞生的。如果你是一个只会写写Python，调用PyTorch和Horovod的算法萌新，可能对于分布式底层的东西不太了解，在下岗热潮中被主管逼着转变成算子或者通讯库的搬砖工，就会像我一样两眼蒙蔽。因此本文只对自己踩到的坑做一个整理，如果有说错的地方，那就是我说错了。以PyTorch为例，其中spmd接口下的相关定义是用于处理分布式的。但主要是处理单机多CPU情况，因此我们今天只考虑多机（多节点）情况。其中用于实现多节点分布式的
【教程】简介nccl-test工具
xfxuezhang.cn
06-28 3708
NCCL是多GPU通信的首选库
PaddlePaddle/PaddleOCR 中英文文字识别
钱多多先森
09-06 9648
1.准备工作 GitHub地址：https://github.com/PaddlePaddle/PaddleOCR 1.QUICK INSTALLATION：https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.2/doc/doc_en/installation_en.md 2.Quick start of Chinese OCR model:https://github.com/PaddlePaddle/PaddleOCR/blob/rel
深度估计自监督模型monodepth2在自己数据集的实战——单卡/多卡训练、推理、Onnx转换和量化指标评估
苹果姐计算机视觉原创知识分享
01-28 6653
monodepth2实战
mpi-nccl-tests:使用GPU Direct RDMA进行MPI + NCCL测试
05-17
MPI和NCCL GPU直接RDMA测试 建造 mkdir build && cd build cmake .. && make
nccl-rccl-parser：基于应用程序运行rccl-testsnccl-tests的工具
02-17
nccl-rccl-parser 此工具用于直接从应用程序中转出rccl-tests / nccl-test命令，以在运行分布式应用程序时使用RCCL / NCCL模块时识别任何潜在的扩展瓶颈。 首先，请克隆以下存储库：git clone --recursive 要运行测试，我们使用以下存储库： 在ROCm上： : 在CUDA上： : 先决条件： 已安装RCCL / NCCL。 已安装rccl-tests或nccl-tests。 如何使用该工具： 运行应用程序并收集RCCL / NCCL日志：** 首先，请确保您正在运行应用程序的分布式设置的实验。 确保使用以下两个环境变量将应用程序运行至少1次迭代，并将其运行到名为nccl_debug_log.txt的日志文件中 NCCL_DEBUG=INFO NCCL_DEBUG_SUBSYS=INIT,COLL <applic
NCCL是Nvidia Collective multi-GPU Communication Library的简称
08-02
NCCL是Nvidia Collective multi-GPU Communication Library的简称，它是一个实现多GPU的collective communication通信（all-gather, reduce, broadcast）库，Nvidia做了很多优化，以在PCIe、Nvlink、InfiniBand上实现较高的通信速度。
nccl 03 记 回顾：从下载，编译到调试 nccl-test
eloudy的专栏
06-20 1091
1> 修改 nccl/makefiles/common.mk。将 nccl-test/ 下载到与 nccl/ 并列。（为了开发nccl本身的话，也可以不安装）A100系列的为 sm_80;先回顾到这里吧，明天继续...只debug 主机代码。
【分布式】NCCL部署与测试 - 01
参谋谋的博客
10-07 7118
NCCL简述，NCCL编译测试，代码结构讲解
编译 nccl-tests 项目
eloudy的专栏
01-04 1375
【代码】编译 nccl-tests 项目。
NCCL test源码分析
weixin_48329334的博客
09-14 1848
Nccl test有几个测试文件，每一个测试文件会单独生成一个测试程序，并以"_perf"为后缀生成可执行的文件。每个测试源码文件会和两个公共文件common.cu和timer.cc，以及nccl、cuda、mpi这三个lib一起编译生成可执行的文件。
nccl代码解析（1）
Murray_的博客
06-27 370
nccl代码解析 test。
使用nccl-test测试2机各8卡共16卡多机GPU间通信性能
最新发布
03-29
<think>嗯，用户想要测试多机16卡GPU的通信性能，使用NCCL-test。首先，我需要回想一下NCCL-test的基本用法和相关配置。记得NCCL-test是NVIDIA用来测试GPU之间通信性能的工具，支持多节点多卡。用户提到多机16卡，那应该是在两个节点，每个节点8卡，或者四个节点各4卡？不过具体的节点和卡数可能要根据实际环境调整。 首先，用户需要确认环境配置是否正确。根据引用[1]，NCCL测试依赖MPI来管理进程，所以需要安装MPI，比如OpenMPI或MPICH。同时，要确保NCCL库已经正确安装，并且CUDA版本兼容。引用[3]提到要检查MPI版本和NCCL的兼容性，这可能是一个常见问题，需要用户注意。 接下来，编译NCCL-test。根据引用[2]，编译时可能需要指定NCCL的安装路径，例如make NCCL_HOME=../nccl/build。用户需要确保路径正确，并且编译过程中没有错误。如果编译失败，可能需要检查依赖项或路径设置。 多机测试的关键是MPI的配置。用户需要配置主机文件（hostfile），指定各节点的地址和每个节点的slots数。例如，如果两个节点，每个节点8卡，hostfile里应该有两个IP，每个节点的slots为8。然后通过mpirun命令启动测试，例如使用mpirun -hostfile hostfile -np 16 ...来启动16个进程。引用[1]提到进程数量由MPI管理，所以不需要在NCCL-test的参数中指定。 测试命令方面，用户可能需要运行all_reduce_perf测试，指定GPU数量、通信模式等。例如，-b 8M -e 128M表示不同消息大小，-f 2是倍增因子。用户需要根据实际情况调整参数，以覆盖所需的测试范围。 在结果分析部分，用户需要关注带宽和延迟。如果结果异常，可能需要检查网络配置，比如是否启用了RDMA，或者NCCL的环境变量设置是否正确，如NCCL_IB_DISABLE=1禁用InfiniBand，强制使用其他协议。引用[4]中的教程可能提供了一些常见问题的解决方法，比如驱动依赖问题，用户需要确保驱动版本兼容。 另外，用户可能遇到的问题包括节点间SSH无密码登录未设置，导致MPI无法跨节点启动进程。这时候需要配置SSH密钥，或者使用其他MPI启动方式。还有，防火墙设置可能阻止节点间通信，需要检查端口开放情况。 最后，生成相关问题时要考虑用户可能的后续疑问，比如如何分析结果、优化性能、环境配置问题等。确保问题覆盖用户可能遇到的下一步问题，帮助他们深入理解和解决问题。</think>### NCCL-test多机16卡GPU通信性能测试方法 #### 一、环境准备 1. **NCCL与CUDA安装** 确保所有节点安装相同版本的NVIDIA驱动、CUDA工具包和NCCL库。NCCL需从源码编译或使用预编译包，编译时需指定`NCCL_HOME`路径[^2][^4]。 ```bash # 示例编译命令 cd nccl-test make NCCL_HOME=/path/to/nccl ``` 2. **MPI环境配置** 安装OpenMPI或MPICH，确保所有节点SSH免密互通。配置`/etc/hosts`文件，添加所有节点IP与主机名映射[^3]。 3. **网络验证** 检查多机RDMA/InfiniBand或TCP连通性，使用`ibstat`或`nccl-tests/build/all_reduce_perf -b 8 -e 128M -f 2`验证基础通信。 --- #### 二、多机测试配置 1. **主机文件定义** 创建`hostfile`文件，格式为`[主机名] slots=[GPU数量]`，例如： ``` node1 slots=8 node2 slots=8 ``` 2. **启动测试命令** ```bash mpirun -hostfile hostfile \ -np 16 \ -x NCCL_DEBUG=INFO \ -x LD_LIBRARY_PATH \ ./build/all_reduce_perf -b 8M -e 128M -f 2 ``` - `-np 16`：总进程数（16卡） - `-b 8M`：起始数据量8MB - `-e 128M`：最大数据量128MB - `-f 2`：数据量倍增因子 3. **关键参数说明** - **带宽优化**：添加`NCCL_ALGO=Ring`强制使用环状通信 - **协议选择**：通过`NCCL_PROTO=Simple/LL/LL128`指定通信协议 - **多网卡绑定**：使用`NCCL_SOCKET_IFNAME=eth0`指定网卡 --- #### 三、结果解读与优化 1. **性能指标** 输出中`Avg bus bandwidth`为有效带宽，需对比理论值（如200Gbps InfiniBand对应约23GB/s）。若低于预期，检查： - GPU拓扑（`nvidia-smi topo -m`） - NCCL环境变量（如`NCCL_IB_DISABLE=1`禁用IB） - MPI进程绑定（`--bind-to numa`） 2. **常见问题排查** - **版本冲突**：CUDA、NCCL、MPI需版本匹配[^3] - **防火墙拦截**：临时关闭`ufw`或开放NCCL端口 - **RDMA未启用**：通过`ibstatus`检查InfiniBand状态 --- #### 四、扩展测试场景 1. **多算法对比** 测试`all_reduce`、`broadcast`、`all_gather`等不同集合操作： ```bash ./build/all_gather_perf -b 1G -e 4G ``` 2. **拓扑感知测试** 添加`NCCL_TOPO_FILE=/path/to/topo.xml`强制指定GPU连接拓扑。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

清风 001

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值