phxsql

最新推荐文章于 2025-04-14 06:05:33 发布
最新推荐文章于 2025-04-14 06:05:33 发布
阅读量185 收藏
点赞数
原文链接：http://www.cnblogs.com/zengkefu/p/5840405.html
版权

https://github.com/tencent-wechat/phxsql

转载于:https://www.cnblogs.com/zengkefu/p/5840405.html

vllm中tensor-parallel-size和pipeline-parallel-size区别
探索人工智能革命，深入算法原理与创新应用，未来科技无限可能。
11-09 4149
在 vLLM 中，和是用于配置模型并行化的两个关键参数，分别用于（Tensor Parallelism）和（Pipeline Parallelism），帮助在多个 GPU 上分配计算任务。
分布式训练-模型并行：张量模型并行【TP（Tensor Parallelism）】
u013250861的博客
08-26 1001
张量模型并行需要解决两个问题：参数如何切分到不同设备（切分方式）；以及切分后，如何保证数学一致性（数学等价）。本文以 NLP 中的 Transformer 结构为例，介绍张量模型并行的切分方式和随机性控制。
张量并行机制详解：如何把超大模型“拆”进多张 GPU？
最新发布
努力分享一些人工智能相关的知识干货！
04-14 753
当模型参数量突破数十亿时，单张 GPU 已无法容纳完整模型结构。张量并行（Tensor Parallel, TP）应运而生，通过将 Transformer 中的线性层、注意力层等大张量沿维度拆分并分布到多张 GPU 上，完成“模块内并行计算”。 > 本文将深入剖析张量并行的拆分逻辑、前后向传播通信机制、典型实现框架（如 Megatron-LM、Colossal-AI）及其工程实践配置，带你掌握真正能支撑 100B 级大模型训练的“底层并行力”
详解MegatronLM Tensor模型并行训练(Tensor Parallel)
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
07-09 6875
`MegatronLM`的第一篇论文Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism是2020年出的，针对billion级别的模型进行训练，例如具有38亿参数的类GPT-2的transformer模型和具有39亿参数的BERT模型.。
【AI系统】张量并行
ZOMI酱
12-09 1080
在大模型的训练中，单个设备往往无法满足计算和存储需求，因此需要借助分布式训练技术。其中，模型并行（Model Parallelism, MP）是一种重要的方法。模型并行的基本思想是将模型的计算任务拆分到不同的设备上执行，以提高训练效率和处理更大规模的模型。下面将重点介绍模型并行中的张量并行。
大规模分布式 AI 模型训练系列——张量并行
m0_59235945的博客
09-22 1941
然而，此时使用 TP 也可能有其局限性。然而，当时流行的消费级 GPU 为 GTX 580，只有 3GB 显存，无法训练这么大的模型，因此作者采用 Tensor Parallelism 的方式，当然，那个时候还没叫 Tensor Parallelism。如下图所示，我们在之前的文章中介绍过，当前的大规模 GPU 训练集群的网络拓扑中，同一个 Group 里不同机器的同号 GPU 对应的 NIC 会连接到同一个 Leaf 交换机，比如所有机器的 2 号 NIC 都连接到了 2 号 Leaf 交换机。
用通俗易懂的方式讲解大模型分布式训练并行技术：张量并行
2301_78285120的博客
10-02 3440
本文主要针对 Megatron-LM 和 Colossal-AI 的张量并行方案进行了讲解。其中，Megatron-LM 提出了一种高效的一维（1D）张量并行化实现。这种方法虽然将参数划分到多个处理器上，但每个处理器仍需要存储整个中间激活，在处理大模型时会消耗大量的显存空间。此外，由于仅采用1维矩阵划分，在每次计算中，每个处理器都需要与其他所有处理器进行通信；因此，通信成本会随并行度增高而激增。显然，1维张量并行已无法满足当前超大AI模型的需求。
一文看懂llama2（原理&模型&训练）
Qpeterqiufengyi的博客
06-08 1854
一文看懂llama2（原理&模型&训练）
国产模型能否挑战 GPT-4？一文拆解 DeepSeek-V3 架构与实战应用
努力分享一些人工智能相关的知识干货！
03-23 1143
DeepSeek-V3 是当前开源领域最接近 GPT-4 的中文大模型，采用稀疏激活的 MoE 架构，实现了“性能强大、成本可控”的理想平衡。它支持 128K 超长上下文、具备出色的中文理解与生成能力，并全面开源可商用，适合私有部署与行业落地。本文将系统解析 DeepSeek-V3 的架构原理、训练策略、部署方法与应用实战，涵盖从 ChatGPT 式助手到企业知识问答系统的完整路径，帮助你用好这个真正能“落地”的强大国产大模型。
大模型训练和推理
weixin_45325331的博客
02-27 4523
大模型训练moe是指混合专家（Mixture-of-experts，简称MoE）的，这是一种用于提高大型神经网络性能的技术，它可以将模型的一部分替换为多个专家，每个专家只负责处理一部分输入数据，从而增加模型的参数量和表达能力，同时减少计算量和训练时间。指令可以作为模型的输入的一部分，也可以作为模型的输出的一部分，具体取决于任务的类型。上下文扩展技术的，这是一种用于提高大型语言模型（LLM）对长文本的处理能力的技术，它可以让模型在不增加参数量的情况下，扩展其注意力范围，从而提高模型的语言理解和生成能力。
计算机科学中的张量,结合GPU技术的并行CP张量分解算法-计算机科学.PDF
weixin_34015347的博客
06-29 328
结合GPU技术的并行CP张量分解算法-计算机科学.PDF第 卷 第 期 计 算 机 科 学４５ 　 １１ Vol．４５No．１１年 月２０１８ １１ COMPUTER S...
探索TensorParallel：分布式训练的新选择
gitblog_00058的博客
04-26 477
探索TensorParallel：分布式训练的新选择 tensor_parallelAutomatically split your PyTorch models on multiple GPUs for training & inference项目地址:https://gitcode.com/gh_mirrors/te/tensor_parallel 在深度学习领域，模型越来越大，计算资源的需...
张量模型并行详解 | 深度学习分布式训练专题
PaddlePaddle
04-29 4049
随着模型规模的扩大，单卡显存容量无法满足大规模模型训练的需求。张量模型并行是解决该问题的一种有效手段。本文以Transformer结构为例，介绍张量模型并行的基本原理。模型并行的动机和现状我们在上一篇《数据并行：提升训练吞吐的高效方法|深度学习分布式训练专题》详细介绍了利用数据并行进行大规模分布式训练。读者不禁要问：仅仅使用数据并行，是否可以完全满足大模型训练的要求？随着...
分布式训练-模型并行（张量并行）-- 原理
weixin_42503655的博客
01-15 2958
张量并行
Tensor Parallel 使用教程
gitblog_00666的博客
08-31 779
Tensor Parallel 使用教程 tensor_parallelAutomatically split your PyTorch models on multiple GPUs for training & inference项目地址:https://gitcode.com/gh_mirrors/te/tensor_parallel 项目介绍 Tensor Parallel 是一个开源项...
用 tensor-parallel 多卡并发推理大模型
哦豁灬
03-02 2486
利用 tensor-parallel 把模型训练与推理的 workload 平均分布到多块 GPU，一方面可以提高推理速度，另一方面 vram 的负载平衡也让复杂的 prompt 能被轻松处理。tensor parallel 在主流的推理框架已经很好的支持了，在这里，我们把我们的推理逻辑平均分布到了两块 GPU 上。
张量并行核心原理
weixin_40280870的博客
02-08 1213
与流水线并行不同，张量并行是将模型中的张量进行拆分然后分配到不同的 GPU 上，每块 GPU 都可以得到所有层张量的部分参数。这样在前向计算中有效减少了流水行并行中的空置时间，提高了 GPU 的显存利用率，因此张量并行也成了当下大模型训练和推理的主流并行方法。
Tensor Parallel 项目教程
gitblog_00720的博客
08-31 968
Tensor Parallel 项目教程 tensor_parallelAutomatically split your PyTorch models on multiple GPUs for training & inference项目地址:https://gitcode.com/gh_mirrors/te/tensor_parallel 1. 项目的目录结构及介绍 Tensor Parall...
tp_mesh = self.device_mesh["tensor_parallel"]
03-29
### 如何在 Device Mesh 中使用 Tensor Parallel 实现张量并行计算 在分布式深度学习框架中，`Device Mesh` 是一种用于管理硬件资源的抽象结构，而 `Tensor Parallel` 则是一种将大型张量分割到多个设备上的技术。以下是有关如何在 `Device Mesh` 上实现 `Tensor Parallel` 的具体方法。 #### 使用 PyTorch DTensor 和 TorchDynamo 进行张量并行 PyTorch 提供了 `torch.distributed.tensor.parallel` 模块来支持基于 `Device Mesh` 的张量并行功能。以下是一个基本流程： 1. **定义 Device Mesh** 首先需要创建一个 `DeviceMesh` 对象，该对象表示一组参与计算的设备。 ```python import torch from torch.distributed._tensor.device_mesh import init_device_mesh # 假设我们有 4 个 GPU 设备 world_size = 4 rank = torch.distributed.get_rank() torch.distributed.init_process_group(backend="nccl", world_size=world_size, rank=rank) # 创建 DeviceMesh device_ids = list(range(world_size)) mesh_shape = (2, 2) # 定义网格形状为 2x2 device_mesh = init_device_mesh("cuda", mesh_shape, device_ids) ``` 2. **配置张量分片策略** 在 `Device Mesh` 上应用张量并行时，通常会采用分片（sharding）的方式分配张量的不同维度到不同的设备上。 ```python from torch.distributed._tensor.placement_types import Shard # 将张量的第一个维度进行分片 sharded_tensor = torch.ones((8, 16)).to("cuda").redistribute( device_mesh=device_mesh, placements=[Shard(0)] ) ``` 3. **集成 Sequence Parallel 或其他优化机制** 如果涉及更复杂的场景，比如 Transformer 结构中的序列并行，则可以引入额外的支持工具[^3]。 ```python from torch.distributed.tensor.parallel import ( PrepareModuleInput, SequenceParallel, ) class CustomTransformerBlock(torch.nn.Module): def __init__(self, ...): super().__init__() self.sequence_parallel_layer = SequenceParallel(...) def forward(self, input_data): prepared_input = PrepareModuleInput.apply(input_data, ...) output = self.sequence_parallel_layer(prepared_input) return output ``` 4. **初始化模型并行环境** 类似于 Megatron-LM 的做法，在实际部署之前还需要完成必要的初始化工作以启用张量并行和流水线并行等功能[^1]。 ```python from megatron.core import mpu, tensor_parallel # 初始化模型并行参数 tensor_model_parallel_size = 2 pipeline_model_parallel_size = 2 virtual_pipeline_model_parallel_size = None split_rank = None mpu.initialize_model_parallel( tensor_model_parallel_size=tensor_model_parallel_size, pipeline_model_parallel_size=pipeline_model_parallel_size, virtual_pipeline_model_parallel_size=virtual_pipeline_model_parallel_size, pipeline_model_parallel_split_rank=split_rank ) ``` 以上过程展示了如何利用 `Device Mesh` 来实现高效的张量并行计算，并结合了部分高级特性如序列并行等。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值