Horovod分布式训练框架运行指南

Horovod分布式训练框架运行指南

horovod Distributed training framework for TensorFlow, Keras, PyTorch, and Apache MXNet. 项目地址: https://gitcode.com/gh_mirrors/hor/horovod

概述

Horovod是一个基于MPI的分布式深度学习训练框架，由Uber开发并开源。它通过简单的API扩展使现有的深度学习代码能够轻松实现分布式训练。本文将详细介绍如何使用Horovod进行分布式训练，包括基本用法、常见问题解决方案以及高级配置选项。

基本运行方式

单机多GPU训练

在拥有4个GPU的单台服务器上运行训练脚本：

horovodrun -np 4 -H localhost:4 python train.py

参数说明：

• -np 4：指定总进程数为4
• -H localhost:4：在localhost上运行4个进程
• python train.py：要执行的训练脚本

多机多GPU训练

在4台服务器上运行训练，每台服务器有4个GPU：

horovodrun -np 16 -H server1:4,server2:4,server3:4,server4:4 python train.py

使用主机文件

对于更复杂的集群环境，可以使用主机文件来定义计算资源：

1. 创建主机文件myhostfile：

aa slots=2
bb slots=2
cc slots=2

2. 运行训练：

horovodrun -np 6 -hostfile myhostfile python train.py

系统要求

Horovod支持多种MPI实现，运行horovodrun需要以下任一MPI环境：

• Open MPI >= 2.X
• Spectrum MPI
• MPICH
• OpenRTE
• Gloo
• Intel(R) MPI

关于Gloo的特别说明

如果没有安装MPI，可以使用Gloo作为替代。Gloo的依赖项会随Horovod自动安装，只需要在安装Horovod时确保系统中有CMake即可。

常见问题解决

SSH连接问题

Horovod要求执行horovodrun的主机能够无密码SSH到所有其他主机。常见问题包括：

1. 密码提示问题：确保配置了SSH公钥认证
2. 主机认证问题：避免首次连接时的"authenticity of host"提示

解决方案：

ssh-keyscan -t rsa,dsa server1 server2 > ~/.ssh/known_hosts

高级配置

使用Open MPI

对于需要精细控制Open MPI选项的高级用户，可以直接使用Open MPI运行Horovod训练。这种方式允许设置特定的MPI参数以获得最佳性能。

使用Intel(R) MPI

Horovod会自动将一些参数转换为Intel(R) MPI支持的格式。支持的选项包括：

• -np：进程数
• -H：主机列表
• SSH相关参数（-p, -i）

注意：Intel(R) MPI不支持MCA参数，但可以通过环境变量设置相关选项。

最佳实践建议

1. 资源分配：确保每个GPU对应一个进程，避免资源争用
2. 网络配置：在高性能集群中，考虑使用InfiniBand等高速网络
3. 监控工具：结合NVIDIA的DCGM或类似工具监控GPU使用情况
4. 批处理大小：分布式训练时适当增加批处理大小以提高效率

通过本文介绍的方法，用户可以轻松地在各种环境中部署Horovod进行分布式深度学习训练。根据实际硬件配置和网络环境选择合适的运行方式，可以充分发挥分布式训练的性能优势。

horovod Distributed training framework for TensorFlow, Keras, PyTorch, and Apache MXNet. 项目地址: https://gitcode.com/gh_mirrors/hor/horovod