机器学习笔记 - PyTorch 分布式训练概览

一、简述

        对于大规模的数据集，只能进行分布式训练，分布式训练会尽可能的利用我们的算力，使模型训练更加高效。PyTorch提供了Data Parallel包，它可以实现单机、多GPU并行。

PyTorch 数据并行模块的内部工作原理

        上面的图像说明了PyTorch 如何在单个系统中利用多个 GPU，这称为数据并行训练，您可以使用具有多个 GPU 的单个主机系统来提高处理大量数据的效率。

        一旦被调用，就会在每个GPU上创建单独的模型实例。然后，数据被分成相等的部分，每个模型实例一个。最后，每个实例创建自己的梯度，然后在所有可用实例之间进行平均和反向传播。

        这里首先看看单