分布式数据并行DistributedDataParallel

最新推荐文章于 2024-12-01 16:13:53 发布

kwang8090

最新推荐文章于 2024-12-01 16:13:53 发布

阅读量803

点赞数

分类专栏： machine learning 文章标签：分布式 pytorch 深度学习

本文链接：https://blog.youkuaiyun.com/wangxiaoxiaodeer/article/details/122264398

版权

DistributedDataParallel是PyTorch的分布式数据并行实现，相比DataParallel，它通过多进程而非多线程实现，避免了GIL的限制。每个进程在独立的GPU上运行，拥有自己的数据和训练流程，仅在梯度聚合时进行通信。这种设计减少了数据传输，提高了训练效率。DDP在每个进程内部进行完整的优化步骤，然后通过通信同步梯度，保证所有GPU的模型参数一致，而DataParallel则在主GPU上集中更新和广播参数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

DistributedDataParallel，torch.distributed相对于torch.nn.DataParalle 是一个底层的API，所以我们要修改我们的代码，使其能够独立的在机器（节点）中运行。

与 DataParallel 的单进程控制多 GPU 不同，在 distributed 的帮助下，我们只需要编写一份代码，torch 就会自动将其分配给n个进程，分别在 n 个 GPU 上运行。不再有主GPU，每个GPU执行相同的任务。对每个GPU的训练都是在自己的过程中进行的。每个进程都从磁盘加载其自己的数据。分布式数据采样器可确保加载的数据在各个进程之间不重叠。损失函数的前向传播和计算在每个GPU上独立执行。因此，不需要收集网络输出。在反向传播期间，梯度下降在所有GPU上均被执行，从而确保每个GPU在反向传播结束时最终得到平均梯度的相同副本、

区别：DDP通过多进程实现的。也就是说操作系统会为每个GPU创建一个进程,从而避免了Python解释器GIL带来的性能开销。而DataParallel()是通过单进程控制多线程来实现的。