分布式训练之序列并行

于 2025-04-08 10:46:38 发布
阅读量24 收藏
点赞数
分类专栏： 大模型笔记 文章标签： 大模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/comli_cn/article/details/147060408
版权

1.序列并行（Colossal-AI）

Colossal-AI 发表的论文：Sequence Parallelism: Long Sequence Training from System Perspective， 主要是解决模型的输入长度(sequence length)限制。

Colossal-AI 序列并行诞生的背景是 self-attention 的内存需求是输入长度（sequence length）的2次方。其复杂度为 O ( n 2 ) O(n^2)

了解本专栏 订阅专栏 解锁全文 超级会员免费看
LLM训练中的分布式训练并行技术；分布式训练并行技术
ZJQ的博客
11-07 173
这样可以充分利用多个计算设备的计算能力，加速模型的训练过程，并减少单个设备的内存和计算压力。在使用这些框架进行模型训练时，只需要定义模型的计算图和输入数据，框架就会自动选择最优的并行策略进行训练。在反向计算时，最后一个GPU计算完梯度后，将结果传递给上一个GPU，依次类推，直到所有GPU都完成梯度计算并更新模型参数。在训练过程中，每个GPU独立地计算梯度，并通过AllReduce操作将所有GPU的梯度进行汇总和平均，最后更新模型参数。这样，可以充分利用多个GPU的计算能力和内存资源，加速模型的训练过程。
模型训练框架：Colossal-AI【分布式人工智能框架】
u013250861的博客
08-03 1420
Colossal-AI 是一个集成的系统，为用户提供一套综合的训练方法。此外，我们提供了一系列的并行技术，包括数据并行、张量并行和流水线并行。我们还提供了不同的流水线并行方法，使用户能够有效地跨节点扩展他们的模型。更多的高级功能，如卸载，也可以在这个教程文档中找到详细的内容。随着深度学习模型规模的发展，向新的训练模式转变是非常重要的。没有并行和优化的传统训练方法将成为过去，新的训练方法是使训练大规模模型高效和节省成本的关键。我们的目标是使 Colossal-AI 易于使用，并且对用户的代码不产生干扰。
图解大模型训练系列：序列并行1，Megatron SP
2201_75499313的博客
11-03 1665
不做任何并行处理时，单卡上attn+mlp层的激活值大小假设有t块卡，纯tp处理时，单卡上attn+mlp层的激活值大小，这里唯一没有被t除的10表示attn和mlp中和layernorm输入、输出以及最后一个dropout mask相关的部分。这一部分也是sp关注的优化点。假设有t块卡，做tp+sp处理时，单卡上attn+mlp层的激活值大小为。
大模型分布式训练之序列并行
SQingL的博客
01-14 990
除此之外，从文章细节里面可以看到，部分的计算的冗余被消除了，且重叠了一部分的通信，使得设备可以花更多的时间用于计算上面。当两个特性都打开的时候，总共可以降低8成左右的激活值开销，尽管比全部激活值重计算的结果要稍高，但是在吞吐率上的提升还是非常的明显的。一共是 10bsh。通过添加序列并行并没有增加额外的通信开销，反而在后向传播代码的实现上，还把 Reduce-Scatter 和权重梯度的计算做了重叠，进一步减少了通信所占用的时间，使得提高设备的FLOPs Utilization成为了可能。
大规模分布式 AI 模型训练系列——序列并行
m0_59164304的博客
09-28 2573
在 Transformer 模型中，自注意力机制的内存需求、计算量与序列长度成二次方关系，导致序列比较长时可能存在明显瓶颈。在 [2105.13120] Sequence Parallelism: Long Sequence Training from System Perspective 中，作者提出了序列并行（Sequence Parallelism），这是一种内存高效的并行方案，可以帮助突破输入序列长度限制，并在 GPU 上高效地训练更长的序列。
Colossal AI 并行技术
AI生成式技术曾小健
06-08 547
​随着深度学习的发展，对并行训练的需求越来越大。这是因为模型和数据集越来越大，如果我们坚持使用单 GPU 训练，训练过程的等待将会成为一场噩梦。在本节中，我们将对现有的并行训练方法进行简要介绍。如果您想对这篇文章进行补充，欢迎在GitHub论坛上进行讨论。
大模型推理张量并行的4种模式
zenRRan的博客
12-22 386
知乎：手抓饼熊地址：https://zhuanlan.zhihu.com/p/12302566679编辑：「深度学习自然语言处理 公众号」，转载授权请联系作者大模型推理并行方向只有2个难点（特指并行而非分布式，个人觉得分离式架构、分布式调度等均属于大模型推理分布式领域），一个是序列并行、一个是张量并行的通信计算重叠优化。序列并行笔者介绍的比较多了（手抓饼熊：大模型推理序列并行），本文介绍一下张量并...
Colossal-AI简介
AI生成式技术曾小健
06-08 5115
​图片来源:分布式系统由多个软件组件组成，在多台机器上运行。例如，传统的数据库运行在一台机器上。随着数据量的爆发式增长，单台机器已经不能为企业提供理想的性能。特别是在双十一这样的网络狂欢节，网络流量会出乎意料的大。为了应对这种压力，现代高性能数据库被设计成在多台机器上运行，它们共同为用户提供高吞吐量和低延迟。分布式系统的一个重要评价指标是可扩展性。例如，当我们在4台机器上运行一个应用程序时，我们自然希望该应用程序的运行速度能提高4倍。然而，由于通信开销和硬件性能的差异，很难实现线性提速。
【大模型LLM面试合集】分布式训练_序列并行
最新发布
chen695969的博客
03-01 1578
总的来说，Colossal-AI 的序列并行是为了打破单设备上序列长度的限制。而 Megatron-LM 的序列并行是在显存上面下了功夫，可以用更少的设备去运行大模型。除此之外，从文章细节里面可以看到，部分的计算的冗余被消除了，且重叠了一部分的通信，使得设备可以花更多的时间用于计算上面。虽然，Colossal-AI 和 Megatron-LM 都有序列并行，但是两者解决的问题、方法都不一样。除此之外，在Pytorch中，也已经支持序列并行了。
大规模分布式训练--模型并行策略
大海中的游鱼
03-13 5899
什么是模型并行 随着深度学习领域的发展，研究人员发现模型越大训练出来的效果越好，因此模型越来越大成为深度学习领域的一个显著特征。但是越大的模型对设备的要求越高，即需要单卡的算力更强，内存空间更大。当单卡运行不能满足 模型的要求时，往往需要多卡甚至多台机器协调工作，共同完成训练工作。但如何协调多卡/多机来完成大模型的训练，是大规模分布式训练所需要解决的问题。 模型并行策略是大规模分布式训练很常见的策略之一。它通过将模型中特定子图中的权值均匀的分配到多张卡上，从而降低了模型对单卡的内存要求。帮助模型顺利运行起来
分布式训练-模型并行（张量并行）-- 原理
weixin_42503655的博客
01-15 2865
张量并行
Colossal-AI：深度学习大规模分布式训练框架
gs80140的专栏
01-09 1526
Colossal-AI 是由 HPC-AI Tech 推出的开源框架，旨在简化深度学习大规模分布式训练。它集成了。
colossal-ai怎么样
weixin_42588672的博客
02-16 522
我作为一个人工智能模型，无法对特定公司的业务表现进行直接评价。但是，根据公开的信息，Colossal AI 是由计算机科学家兼企业家 Andrej Karpathy 和 OpenAI 创始人 Greg Brockman 共同创立的公司，旨在推动人工智能的发展和普及。 Colossal AI 的主要业务是开发和销售 AI 工具和技术，如训练数据集、模型架构和算法等。据报道，该公司聚集了一批顶尖的人工...
Colossal-AI的安装
qq_48459039的博客
02-24 4859
是一个集成的大规模深度学习系统，具有高效的并行化技术。最近在学习stable diffusion model,但是这个模型成本比较高，作为低端学习者，借助colossal-ai加速训练，即能满足显卡要求又能节约时间。下载并解压缩，进入ColossalAI/ -> examples/ -> tutoriall/ -> hybrid_parallel/小编是在集群的服务器上测试的，所以通过slurm启动colossalai。注：这里的“colossal”是虚拟环境的名字，想怎么改就怎么改。
Colossal-AI: 打造高效分布式深度学习的新星
gitblog_00081的博客
03-19 701
Colossal-AI: 打造高效分布式深度学习的新星 ColossalAIColossalAI 是一个开源的 AI 框架，旨在为大规模并行训练提供高效的深度学习解决方案。 适合需要进行大规模并行训练和深度学习研究的开发者和研究人员。 提供了高效的并行训练和深度学习模型构建功能，支持多种 GPU 并行策略。项目地址:https://gitcode.com/gh_mirrors/co/Colo...
详解MegatronLM序列模型并行训练(Sequence Parallel)
热门推荐
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
07-10 1万+
MegatronLM的第三篇论文是2022年出的。在大模型训练过程中显存占用过大往往成为瓶颈，一般会通过recomputation重计算的方式降低显存占用，但会带来额外的计算代价。这篇论文提出了两种方法，分别是和，这两种方法和Tensor并行是可以相结合的，可以有效减少不必要的计算量。下图中绿色部分表示不同模型中需要用于保存activation需要的显存大小，蓝色部分表示不同模型中需要用于保存parameter和optimizer state需要的显存大小。红色线表示A100的显存大小80G。
Colossal-AI 分布式人工智能框架
duoyasong5907的博客
03-30 415
油管官方介绍
Colossal-AI：大型AI模型的高效、快速、易用解决方案
gitblog_00110的博客
08-08 883
Colossal-AI：大型AI模型的高效、快速、易用解决方案 ColossalAIColossalAI 是一个开源的 AI 框架，旨在为大规模并行训练提供高效的深度学习解决方案。 适合需要进行大规模并行训练和深度学习研究的开发者和研究人员。 提供了高效的并行训练和深度学习模型构建功能，支持多种 GPU 并行策略。项目地址:https://gitcode.com/gh_mirrors/co/...
GPT系列训练与部署——Colossal-AI环境配置与测试验证
叶子的博客
05-10 3410
Colossal-AI的教程地址为“https://colossalai.org/docs/get_started/run_demo”，模型示例工程为“https://github.com/hpcaitech/ColossalAI-Examples”。》中进行更新，地址为“https://blog.youkuaiyun.com/suiyingy/article/details/130169592”。Colossal-AI项目地址为“https://github.com/hpcaitech/ColossalAI”。
Apache Horn: 分布式训练框架的快速入门与实践
分布式训练框架的核心价值在于能够实现数据并行和模型并行。数据并行性是指将数据集拆分成多个部分，然后在不同的计算节点上并行处理，而模型并行性则是指将模型的不同部分分配到不同的计算节点上训练。这样可以充分...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

comli_cn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值