3、数据并行训练中的参数服务器与All - Reduce范式

数据并行训练中的参数服务器与All - Reduce范式

1. 通信方案选择

在数据并行训练任务中，有三种主要的通信方案可供选择，以下是选择通信方案的一些高级建议：
- 对于GPU集群，使用NCCL。
- 对于CPU集群，优先使用Gloo。如果Gloo不起作用，尝试使用MPI。

由于模型训练通常使用GPU节点，所以一般将NCCL设置为默认通信后端。

2. 数据并行训练的两种范式

为了保证数据并行训练任务中所有GPU/节点之间的模型一致性，需要进行模型同步，基于此有两种方法：

2.1 参数服务器范式

将模型参数保存在一个集中的节点（中央节点）。当GPU/节点需要进行模型训练时，从中央节点拉取参数，训练模型，然后将模型更新推回中央节点。由于所有GPU/节点都从同一个中央节点拉取参数，因此可以保证模型的一致性。

2.2 All - Reduce范式

每个GPU/节点都保留一份模型参数的副本，强制这些模型副本定期同步。每个GPU使用自己的训练数据分区训练其本地模型副本。在每次训练迭代后，由于使用不同的输入数据进行训练，不同GPU上的模型副本可能会有所不同。因此，在每次训练迭代后插入一个全局同步步骤，对不同GPU上的参数进行平均，从而以完全分布式的方式保证模型的一致性。

3. 参数服务器架构

3.1 架构组成

参数服务器架构主要由两个角色组成：参数服务器和工作节点。参数服务器可视为传统主/从架构中的主节点，工作节点是负责模型训练的计算机节点或GPU。训练数据会在所有工作节点之间进行划分，每个工