TensorRT-LLM中的MoE并行推理

最新推荐文章于 2025-10-24 16:14:32 发布
原创 最新推荐文章于 2025-10-24 16:14:32 发布 · 670 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#GPU

部署运行你感兴趣的模型镜像

2种并行方式：

moe_tp_size：按照维度切分，每个GPU拥有所有Expert的一部分权重。

moe_ep_size:  按照Expert切分，每个GPU有用一部分Expert的所有权重。

二者可以搭配一起使用。

限制：二者的乘积，必须等于模型并行（不是指moe_tp_size，而是整个模型的tp_size)的卡数。

您可能感兴趣的与本文相关的镜像

Wan2.2-I2V-A14B

Wan2.2-I2V-A14B

图生视频
Wan2.2

Wan2.2是由通义万相开源高效文本到视频生成模型，是有​50亿参数的轻量级视频生成模型，专为快速内容创作优化。支持480P视频生成，具备优秀的时序连贯性和运动推理能力

【深度学习】大模型GLM-4-9B Chat ，微调与部署(3) TensorRT-LLM、TensorRT量化加速、Triton部署
q742971636的博客
07-25 2985
TensorRT-LLM官方目前说在v0.12.0版本才会支持GLM-4-9B Chat ，下面以v0.10.0的魔改来做GLM-4-9B Chat的量化部署。本文目标就是加速GLM-4-9B Chat，看看能多快。A100卡。
【ChatGPT】混合专家模型（Mixture of Experts, MoE）：提高神经网络泛化能力和性能的利器
AI天才研究院
07-16 6721
MoE模型是一种用于解决大规模数据集上的复杂任务的神经网络模型。它可以自适应地组合多个专家网络来处理不同的数据子集，从而提高模型的泛化能力和性能。MoE模型的基本结构由门控网络和专家网络组成，其中门控网络用于选择哪个专家网络处理输入数据，而每个专家网络负责处理相应的数据子集。MoE模型的训练可以通过最大化似然函数来实现，通过交替优化门控网络和专家网络来实现。在实现MoE模型时，可以使用PyTorch等深度学习框架来简化代码实现。
全网首篇从tensorRT-LLM MoE CUDA kernel角度理解Mixtral-8x7b的推理加速及展望
weixin_43568400的博客
04-15 2426
tensorRT-LLM对于这块的代码位于。
用通俗易懂的方式讲解大模型分布式训练并行技术：MOE并行
2301_78285120的博客
01-12 4631
本文简要介绍了目前业界的一些 MOE 并行方案。如果说Transformer结构使得模型突破到上亿参数量，那么稀疏 MoE 结构可以在不显著增加计算成本的情况下，使模型参数量进一步突破，达到上千亿、万亿规模。虽然，1990年左右 MOE 的概念就已经出现了；但是可以预见，MOE 将在通往AGI的道路上扮演越来越重要的角色。
大模型之moe并行
最新发布
weixin_44245188的博客
10-24 831
本文简要介绍了目前业界的一些 MOE 并行方案。如果说Transformer结构使得模型突破到上亿参数量，那么稀疏 MoE 结构可以在不显著增加计算成本的情况下，使模型参数量进一步突破，达到上千亿、万亿规模。虽然，1990年左右 MOE 的概念就已经出现了；但是可以预见，MOE 将在通往AGI的道路上扮演越来越重要的角色。
太极AngelPTM MoE组件性能优化策略——Part2
m0_68969027的博客
06-06 3953
如何在MoE组件实现高效Gating算子以及专家计算算子，提高GPU计算利用率？如何减少额外存储空间，提高训练吞吐？如何将模型训练任务（包括计算，通信和存储）高效地分配到大规模GPU集群进行处理？速戳>>...
大模型分布式训练之moe并行
SQingL的博客
01-16 2277
因此，需引入额外的通信操作，该策略可以允许更多的专家网络们同时被训练，而其数量限制与计算单元的数量(如：GPU数量)是正相关的。这是 Google 在2021年底推出的一个超大模型，完整的 GLaM 总共有 1.2T 参数，每个 MoE 包含 64 个专家，总共 32 个 MoE 层，但在推理期间，模型只会激活 97B 的参数，占总参数的 8%。该模式针对不同的模型和设备拓扑需要专门的并行策略，同时会引入额外的通信，因此，相较于数据并行+MOE策略，侵入性更强。，而其他的模型都是至少2个。
MOE并行策略的实现
vivi_cin的博客
10-05 622
在MOE并行策略中，每个MoE层包含多个专家，每个专家负责处理一部分输入数据。然后，根据输入数据的特征，选择相应的专家进行处理。自动分片技术则是MOE并行策略的另一个关键部分。自动分片技术可以根据输入数据的特征和模型的结构，动态地调整分片的数量和大小，从而实现高效的并行计算。条件计算是一种动态的计算方式，它可以根据输入数据的特征，选择性地执行模型中的一部分计算。在MOE并行策略中，条件计算用于选择相应的专家来处理输入数据。门控网络根据输入数据的特征，输出一个概率分布，该概率分布用于选择相应的专家。
TensorRT-LLM：大模型推理加速的核心技术与实践优势
全世界的博客
07-05 938
大型语言模型推理就像让一头300公斤的大熊猫玩平衡木——和这对双胞胎问题随时可能让表演翻车。以主流的7B参数模型为例，FP16精度下仅模型权重就吃掉14GB显存，这还没算上推理过程中不断膨胀的——当处理2048长度的对话时，显存占用会像吹气球般再膨胀30-50%，让大多数消费级GPU直接"窒息"。更令人头疼的是的串行特性。想象一个必须逐字背诵《红楼梦》的机器人：生成100个token时，7B模型在A100上要花费2秒，其中60%时间不是在计算，而是在等显存数据"搬家"。这种。
大模型推理框架解析（vLLM、TensorRT-LLM、TGI 等）
技术引领业务创新
08-07 2604
大模型推理框架全面解析（摘要） 当前大模型推理面临显存墙、计算密度低等核心挑战，主流框架通过技术创新实现性能突破。vLLM采用PagedAttention和连续批处理，显存利用率超95%；TensorRT-LLM通过定制内核和量化流水线，延迟优化显著；SGLang的RadixAttention技术使多轮对话吞吐提升5倍。实测显示，TensorRT-LLM在吞吐量（3880 tokens/s）和首Token延迟（85ms）上表现最优，而SGLang在长上下文支持（256K）和显存占用（410GB）更具优势。未
TensorRT-LLM初探：高效大模型推理的实践指南
此外，TensorRT-LLM 还原生支持多 GPU 和多节点分布式推理，利用张量并行、流水线并行等策略提升大规模模型的部署效率，使其适用于生产级 AI 服务场景。 在安装方法上，文章详细介绍了两种主流部署路径：一是基于 ...
TensorRT 加速推理实践
Michael是个半路程序员
01-11 2334
本文环境 python 3.11.5 TensorRT 8.6.1。
DeepSeek背后的技术基石：MoE、数据并行与模型并行全解析
老皮的博客
02-13 1309
MoE架构代表了深度学习模型发展的一个重要方向，它通过稀疏化和专家机制，不仅提升了大模型的训练效率，还为多任务、多模态处理开辟了新的可能性。尽管在实际应用中存在一定的挑战，但随着技术的不断进步，MoE将成为未来大规模模型训练和推理的核心架构之一。
专家混合器（MOE）——现代架构，用于分解并解决问题的学习
asd8705的专栏
07-01 268
专家混合器是一种集合方法，将整个问题分解为多个子任务，并在每个子任务上对一组专家进行训练。在这篇文章中，我们将讨论专家混合器（MOE）架构是什么，MOE模型的内部工作原理，以及它与现有模型架构有何不同。随着神经网络架构变得越来越复杂，处理不同数据、处理各种响应以及最小化处理能力和时间，专家混合模型将占据主导地位。根据这个，门控网络将每条输入路由到特定的专家层。门控网络和专家层是同时训练的，使得门控网络学习哪些专家层可以信赖来进行预测。在图像分类任务中，我们可以训练每个专家集群来理解不同类别的数据。
合专家模型 (MoE) 详解
AI工程化、开源分享、文档翻译、代码笔记
05-12 1837
一、简短总结 二、什么是混合专家模型？ 三、混合专家模型简史 四、什么是稀疏性? 五、混合专家模型中令牌的负载均衡 六、MoEs and Transformers 七、Switch Transformers 八、用 Router z-loss 稳定模型训练 九、专家如何学习？ 十、专家的数量对预训练有何影响？ 十一、微调混合专家模型 十二、稀疏 VS 稠密，如何选择? 十三、让 MoE 起飞 1、并行计算 2、容量因子和通信开销 3、部署技术 4、高效训练 十四、开源混合专家模型 十五、一些有趣的研究方向
混合专家模型 (MoE) 简述
2301_81940605的博客
03-11 6902
本文主要想梳理一下 MoE 模型相关的概念，并阅读整理部分开源 MoE 模型的论文，简要地描述整体架构等。
专家并行再升级，开源MoE模型训练效率提升9倍
luchentech的博客
11-10 2501
Colossal-AI-MoE模块升级，系统完善，效率提升，性能卓越！
混合专家: Moe已成为现阶段LLM的新标准，详细解析，小白也能看懂
南七小僧的学海无涯
05-04 1946
首先的问题就是，为什么我们称他们为专家？他们工作原理是什么呢？路由器不会一次询问整个专家组，而只会得到少数人的回应，而是主动选择那些它预测会知道答案的人。而且，由于从一开始就这样做，不同的专家会专注于不同的主题。用更专业的术语来说，输入空间被“区域化”了。如果你想象一下某个 LLM 可能收到的“可能请求的完整空间”，那么每位专家都会在某些主题上变得更加精通，而其他专家则会在其他主题上变得更加博学。你不必聘请一位“无所不知”的专家，而是组建一个拥有特定专业领域的团队。
FasterMoE：Modeling and Optimizing Training of Large-Scale Dynamic Pre-Trained Models阅读笔记
weixin_45745854的博客
10-02 3470
FasterMoE：Modeling and Optimizing Training of Large-Scale Dynamic Pre-Trained Models阅读笔记；参考b站视频
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值