LLM分布式训练第二课（数据并行）

最新推荐文章于 2025-12-18 10:21:44 发布
原创 最新推荐文章于 2025-12-18 10:21:44 发布 · 739 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#分布式 #人工智能 #深度学习 #自然语言处理 #机器学习 #语言模型

本文介绍了分布式训练中数据并行的两种方法：DP Data Parallel和DDP Distributed Data Parallel。DP适用于单机多GPU，采用线程通信，存在通信局限性和低效性。相比之下，DDP使用进程通信，能跨节点并行，每个GPU有自己的模型副本，通过DistributedSampler高效加载数据，反向传播时直接进行all-reduce梯度同步，提高效率。DDP更适合大规模模型和跨节点训练。

 最基础也是最好理解的大模型训练并行手段就是数据并行。

  数据并行的发展史实际上目前看也经历了2个阶段：

  1. 1.       DP Data Parallel

  2. 2.       DDP Distributed Data Parallel

  3.   这两者特别容易被搞混，下面我们来看一下这两者的区别。

   DP是在Pytorch中最早引入的分布式并行手段。

Image

DP的通信和运行方式

DP是线程通信，只用于单机内部的多块GPU之间的通信，不会跨机器节点进行通信。

  • 如图所示，DP从流程上看，是将整个minibatch的数据加载到主线上，然后再将更小批次的sub-minibatches的数据分散到整个机器的各块GPU中进行计算。

  • 一般来讲DP的主GPU为GPU1，它负责持有模型，并且copy到其他的模型里，而且训练的mini-batch也是先给到GPU1，然后再通过Scatter的通信，将minibatch进一步打散成sub-minibatches，然后不同的ub-minibatches给到不同的GPU来进行训练处理。

  • 在前向计算时，每个GPU自己计算自己得这一部分数据，然后GPU1通过gather来手机所有的输出，再进行统一的损失计算。

  • 把损失在 GPU 之间 scatter，在各个GPU之上运

最低0.47元/天 解锁文章
周博洋K
关注
大语言模型LLM分布式训练：TensorFlow攻略与深度解析（LLM系列04）
North_D的博客
02-26 1880
根据硬件环境和模型特性选择合适的策略。最新研究和技术趋势：追踪最新的分布式训练策略，如联邦学习、半同步SGD等，以及硬件层面的进步，如更快的网络互连和新型AI加速器，从而前瞻LLM分布式训练的未来发展方向。第三方工具集成：进一步探讨如何将其他开源库（如Horovod）与TensorFlow相结合，实现在更复杂的分布式环境下的协同训练，并对比各自的优势与适用场景。API，在保持模型准确性的前提下，通过混合使用FP16和FP32数据类型，大大减少显存占用，显著加快LLM的分布式训练速度。
分布式训练 - 单机多卡（DP和DDP）
热门推荐
love1005lin的博客
05-04 1万+
起初为调用大规模的模型训练，单卡GPU是不够使用的，需要借用服务器的多GPU使用。就会涉及到单机多卡，多机多卡的使用。在这里记录一下使用的方式和踩过的一些坑。文中若有不足，请多多指正。 由于分布式的内容较多，笔者准备分几篇来讲一次下深度学习的分布式训练，深度学习的框架使用的是Pytorch框架。 ----1.分布式训练的理论基础 ----2.GPU训练 ----3.单机多卡的使用 ----4.多机多卡的使用 在GPU训练文章中我们已经了解到了多GPU的训练，最简单的是单机多卡操作torch.nn.DataP
分布式训练DP和DDP
qq_45754436的博客
12-17 1350
随着模型训练需要使用多卡（GPUs）的性能，为此本文记录了关于分布式训练DP和DDP方式。详细介绍了从流程讲解到如何在代码中使用。提示：以下是本篇文章正文内容，下面案例可供参考DDP。
分布式训练，DP,DDP，模型训练，模型加载（非常详细）
jialiyk的博客
04-14 1876
GPU 0将数据分成8份分到各个卡上，每张卡负责自己的那一份mini-batch的训练，得到grad后，返回给GPU 0上做累积，得到更新的权重参数后，再分发给各个卡。每个batch所有GPU计算完成后，再统一计算新权值，然后所有GPU同步新值后，在进行下一个batch计算。：8张以环形相连，每张卡都有左手卡和右手卡，一个负责接收，一个负责发送，分为Scatter Reduce和All Gather两个环节。：不同GPU输入相同的数据，运行模型的不同部分，比如多层网络的不同层。单机多卡：DP、DDP。
LLM分布式训练第一课（通讯原语）
周博洋的博客
03-03 1088
这个系列作为TFLOPS和显存消耗的续篇，今天开始正式连载前一篇文章举了65B模型的训练所消耗的显存的案例，如果把条件降低一点，我们看一下7B的模型需要多少显存？2byte的模型静态参数权重（以16bit存储） = 14G2byte的模型更新参数权重 （以16bit存储）= 14G2byte的梯度（以16bit存储）= 14G2byte的梯度更新（以16bit存储）= 14G4byte的一阶动量优化器更新（以32bit存储）= 28G。
LLM分布式训练2---并行策略
看llm论文和code看得相似
04-23 837
本章将介绍分布式机器学习系统的基础概念、分布式训练的并行策略、分布式训练的集群架构，并以 DeepSpeed 为例，介绍如何在集群上训练大语言型。而这篇推送将主要介绍分布式训练的并行策略。数据并行的核心思想是将整个神经网络模型复制到多个计算设备上，并将训练数据分成若干子集，分配到每个计算设备上。每个计算设备独立进行前向传播和反向传播，计算出本地的梯度，并将所有设备的梯度汇总以更新模型。这个过程的关键在于梯度的同步和平均。在数据并行系统中，每个计算设备都有整个神经网络模型的模型副本（Model Replica
LLM分布式训练---流水线并行
摩登都市天空---专栏
05-06 4655
所谓流水线并行，就是由于模型太大，无法将整个模型放置到单张GPU卡中；因此，将模型的不同层放置到不同的计算设备，降低单个计算设备的显存消耗，从而实现超大规模模型训练。流水线并行PP（Pipeline Parallelism），是一种最常用的并行方式，也是最初Deepspeed和Megatron等大模型训练框架都支持的一种并行方式。如下图所示，模型共包含四个模型层（如：Transformer层），被切分为三个部分，分别放置到三个不同的计算设备。
LLM分布式训练第四课-模型并行之张量并行
周博洋的博客
03-23 905
一般会把基于Megatron的Tensor方式称为1D并行，1D并行的一个弊端是，对于刚才的函数Y=XA，在计算的过程中，并没有对激活Activation进行划分，导致激活这部分会消耗大量的显存，也就是每块GPU虽然参数被分开了，但是激活还是每块都有，还有一个重要的点是，如果采用1D并行，那么所有的GPU都要和其他的GPU进行通信，all-reduce或者其他的源语通信，通信成本越高，整体训练的性能越差。2- 列并行的输入X是不需要拆分的，因为矩阵乘，行乘以列，A进行列切分，列维度没变，维度是相等的。
LLM分布式训练（一）：从 DP 到 FSDP：拆解数据并行技术！
qq_54445177的博客
04-15 2738
LLM分布式训练（一）：从 DP 到 FSDP：拆解数据并行技术！
【LLM学习笔记】第二篇：分布式训练介绍
使者大牙ℂypher的博客
11-04 1067
分布式训练介绍
LLM分布式训练第三课-模型并行之流水线并行
周博洋的博客
03-20 1457
在实际的生产中，在训练时面对的压力主要是模型太大，无法装载进一块GPU中。举一个例子，一般来讲现代LLM训练采用的精度都是FP16或者BF16，采用这种精度来训练模型，如果1个模型参数，要占用2个字节，也就是16bit。在上一章开头的7B案例已经讲过，如果对一个7B模型用BF16或者FP16来进行预训练那么现在市面上最高显存的GPU，如H100/80G也是无法进行装载的。因此由于这个物理上的硬件限制，在训练时我们都会进行模型并行化处理。
灰度发布与A/B测试：Flutter+鸿蒙的分布式全量发布方案
2502_94507659的博客
12-18 1021
本文介绍了灰度发布与A/B测试的概念及其在Flutter与鸿蒙系统中的实现方案。灰度发布通过逐步推送新版本降低风险，A/B测试则通过数据对比优化决策。利用Flutter的跨平台特性和鸿蒙的分布式能力，可实现多设备协同的灰度策略同步。技术实现包括用户分组路由控制、鸿蒙分布式数据同步等，提供了代码示例和应用场景说明。该方案在某电商App中成功应用，使发布周期缩短40%，CTR提升12%，同时指出了分布式数据同步延迟等注意事项。
低代码平台重构：Flutter组件库与鸿蒙分布式能力融合实践
2502_94507659的博客
12-16 1146
本文探讨了低代码平台重构方案，将Flutter组件库与鸿蒙分布式能力融合。通过Flutter实现跨平台UI组件库分层设计，结合鸿蒙的分布式设备管理、数据同步等功能。关键技术包括：基于Flutter拖拽引擎的可视化开发界面，利用鸿蒙分布式能力实现跨设备组件同步，以及动态布局渲染系统。文章提供了Flutter调用鸿蒙设备发现、动态组件渲染及鸿蒙数据同步的完整代码实现，展示了如何构建支持多终端协同的低代码开发平台。
基于微服务架构的分布式量化交易系统设计与实现
ztt123654的博客
12-13 968
分布式量化交易系统是一个基于Python和vnpy框架开发的综合性量化交易平台，采用微服务架构和模块化设计，支持多账户、多策略、实盘交易、数据分析、分布式在线回测、风险管理以及多交易节点等功能。该系统专为金融量化交易领域设计，能够处理CTP期货、股票、期权、数字货币等多种金融产品，为投资者和量化交易团队提供高效、稳定的交易解决方案。 系统采用微服务架构，将不同功能模块拆分为独立的服务，如交易执行服务、策略管理服务、风险控制服务、数据服务等，通过Docker和Docker Compose进行容器化部署和管理
智能制造的分布式认知系统要素分析
weixin_41939376的博客
12-15 669
智能制造系统本质上是一种工程化的分布式认知系统，其核心在于具备类似人类认知的多层能力：感知层采集设备状态与事件，表征层通过语义模型构建结构化认知，记忆系统存储可推理的结构化数据，推理层实现分布式决策，行动层形成闭环控制，协同层通过统一语义空间（如UNS）实现系统间认知对齐。这一架构突破了传统自动化的局限，使制造系统具备了工业级的分布式认知能力，其认知水平取决于共享表征的质量而非单一计算能力。
深入实战：Flutter + OpenHarmony 分布式软总线通信完整实现指南
2502_93572233的博客
12-12 736
本文介绍了如何在OpenHarmony设备上实现Flutter应用通过分布式软总线进行跨设备通信。主要内容包括： 环境准备：需配置DevEco Studio、OpenHarmony SDK及定制版Flutter SDK，并添加必要的权限声明。 原生服务封装：使用ArkTS实现了完整的DSoftBusService，支持设备发现、会话建立和消息收发功能。 桥接层实现：通过MethodChannel和EventChannel将原生能力暴露给Flutter层，实现双向通信。 项目特点： 支持OpenHarmony
智能体在车联网中的应用：第3天 汽车电子架构的“脊椎革命”：从分布式到中央计算，看懂智能汽车的进化内核
最新发布
IT深耕十余载，大道之简
12-18 695
摘要： 汽车电子电气架构正经历从“分布式”到“中央计算”的革命性演进。传统分布式架构因ECU冗余、线束复杂和算力碎片化，难以支撑智能汽车需求；域集中式架构通过功能整合和以太网通信实现部分优化；而终极的“中央计算+区域控制”架构通过硬件集中、软件SOA化和星型网络，实现算力池化与线束极简。这一变革将彻底改变车联网的数据处理、OTA升级和云端协同能力，成为智能汽车发展的核心基石。未来，掌握中央计算平台与软件定义能力的车企将主导产业价值链。
雾计算架构：边缘-云端协同的分布式 AI 推理
码刀攻城
12-16 1058
雾计算架构通过“边缘-云端协同”的分布式模式，有效解决了传统云端 AI 推理的延迟高、带宽占用大、隐私性差等问题
基于Spring Cloud Alibaba与Vue.js的分布式在线教育系统设计与实现
ztt123654的博客
12-15 700
领课教育系统是一个基于Spring Cloud Alibaba微服务架构和Vue.js前端框架的分布式在线教育平台，专为个人、教育机构和企业快速搭建轻量级在线教育解决方案而设计。该系统融合了领课网络多年的在线教育平台开发和运营经验，致力于打造一个适用于各行业的现代化在线教育系统。 系统采用前后端分离的开发模式，前端使用Vue.js 3.5.20和Element-Plus 2.9.9构建响应式用户界面，提供流畅的学习体验；后端基于Java语言，采用Spring Boot 3.2.4和Spring Cloud
大模型分布式训练五大并行策略详解与代码实践
因此，分布式训练技术应运而生，并发展出多种并行策略以应对不同维度的挑战。本文围绕“数据并行（DP）、专家并行（EP）、张量并行（TP）、流水线并行（PP）和序列并行（SP）”五种核心并行范式展开深入分析，系统...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值