DeepSeek发布DeepEP：MoE模型通信效率的革新者

最新推荐文章于 2025-06-11 12:06:04 发布
最新推荐文章于 2025-06-11 12:06:04 发布
阅读量851 收藏 10
点赞数 5
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/coderroad/article/details/145905048
版权

DeepEP，Distributed Expert Parallel Communication Library，是为混合专家MOE与并行专家EP量身定制（tailored）的通信库（communication library）。

Stars 数6257
Forks 数464

主要特点

  • 高效通信架构：DeepEP支持节点内与跨节点的全对全通信优化，兼容NVLink和RDMA（远程直接内存访问）技术。

    • 节点内通信：通过NVLink实现高达160 GB/s的带宽，减少GPU间的数据传输延迟；

    • 跨节点通信：利用RDMA网络（如InfiniBand或RoCE）绕过CPU，直接访问远程GPU内存，降低协议栈开销。

  • 多精度计算与调度优化：DeepEP原生支持FP8低精度运算，相比传统的FP16或BF16格式，FP8可将显存占用和带宽需求降低50%，同时保持模型精度。这一特性尤其适用于大规模预训练场景，显著降低计算资源消耗。此外，其调度器支持动态切换精度模式，适应不同任务需求。

  • 双模式内核设计

    • 高吞吐量内核：面向训练和推理预填充阶段，通过批量处理数据最大化吞吐量。在H800 GPU测试中，结合NVLink与InfiniBand CX7网卡（50 GB/s带宽），DeepEP在4096 tokens/批次的预训练任务中展现了显著的性能优势。

    • 低延迟内核：针对推理解码场景，采用纯RDMA通信并引入自适应路由技术，最小化端到端延迟。测试显示，在128 tokens/批次的推理任务中，延迟较传统方案降低30%以上。

  • 计算-通信重叠机制：通过基于Hook的异步通信设计，DeepEP实现了计算与通信的无缝重叠。该方法不占用SM资源，允许GPU在执行计算任务的同时处理数据传输，避免了传统同步通信导致的资源闲置。

GitHub：https://github.com/deepseek-ai/DeepEP 

DeepSeek开源：DeepEP深度解析：MoE模型通信效率的颠覆性突破
这里汇聚了前沿的技术分享与实用的开发技巧，带你探索从创意到企业的技术创业之路。
02-28 466
全对全通信的硬件级重构​高吞吐内核：采用NVLink（节点内160GB/s）与RDMA（跨节点50GB/s）的带宽转发优化，支持4096 tokens/批次的预训练场景。通过流水线调度技术，在非对称带宽场景（如NVLink→RDMA）下仍保持90%以上的带宽利用率。​低延迟内核：推理解码阶段采用纯RDMA传输，结合自适应路由算法，使128 tokens/批次的生成任务延迟降至微秒级。测试显示，处理8个专家时分发延迟仅163μs，合并延迟318μs。
DeepSeek开源周Day2：DeepEP - 专为 MoE 模型设计的超高效 GPU 通信库
MnivL的博客
02-25 2403
本文介绍了 DeepSeek 开源的高性能通信库 DeepEP。它专为混合专家模型（MoE）和专家并行（EP）场景设计，旨在解决大模型训练中 GPU 间数据通信的瓶颈问题。文中阐述了其核心功能与设计理念，包括域间带宽优化、低精度计算支持、通信 - 计算重叠等技术亮点。通过性能实测展示了在不同场景下的出色表现，如高吞吐、低延迟等。还介绍了架构设计、快速入门指南、高级调优建议、应用场景与案例等，并提及了开源生态和注意事项。DeepEP 的推出标志着 MoE 训练进入新阶段，有望推动千亿级模型突破训练效率边界。
DeepEP 使用与配置指南
gitblog_00503的博客
03-27 360
DeepEP 使用与配置指南 DeepEP DeepEP: an efficient expert-parallel communication library 项目地址: https://gitcode.com/gh_mirro...
DeepEP通信库
m0_49448331的博客
02-25 1009
DeepEP 是一个高效的专家并行通信库，专为 MoE 模型的训练和推理优化。它通过提供高吞吐量和低延迟的 GPU 内核（也称为 MoE 分发和组合操作），显著降低了 MoE 模型在分布式训练和推理中的通信瓶颈。根据 DeepSeek 的描述，DeepEP 旨在支持大规模 AI 工作负载，减少训练成本，提高性能，并使先进 AI 研究更加可访问。
DeepSeek 又又开源了，这次拉爆GPU通信！
fengshi_fengshi的专栏
02-25 740
开源周第二弹发布，第一个用于MoE模型训练和推理的开源EP通信库，发布不到2小时，GitHub Star数达 4.5K。 ​
DeepSeek 开源周：DeepEP 项目详解，GPU 压榨计划启动！
东方佑
02-25 1241
DeepEP 是一个专门针对 Mixture-of-Experts (MoE) 训练方法设计的通信工具，其核心目标是通过优化 GPU 之间的数据传输来加速 AI 的训练和推理过程。提升 GPU 间的数据传输速度，无论是 NVLink（同一机器内的 GPU）还是 RDMA（跨机器的 GPU）。减少推理解码阶段的延迟，这对于实时应用如 ChatGPT 至关重要。实现计算和数据传输的并行执行，避免因等待数据传输而导致的计算停滞。
论文笔记：DeepEP: a deep learning framework for identifying essential proteins
wangpan007的博客
03-07 957
论文笔记：DeepEP: a deep learning framework for identifying essential proteins一、论文创新二、方法（一）、网络结构（二）、Node2vec得到拓扑特征(三）、采样方法三、数据四、结果 一、论文创新 1.通过 得到了得到了蛋白质的拓扑特征。 2.采用了一种采样方法有效的解决了重要蛋白质和不重要蛋白质的失衡问题。 二、方法 （一）、网络结构 提出了一种新的深度学习架构，DeeEP 1.网络有两部分组成：特征提取和分类 2.PPI网络的蛋白质拓
DeepSeek感谢腾讯：大模型网络提速技术方案的重要贡献！
2401_85375151的博客
05-07 824
最近，DeepSeek工程师在GitHub上高亮了来自腾讯的代码贡献，并用介绍了这次性能提升。什么样的优化技术让顶尖AI团队如此兴奋？简单来说，是腾讯多年来调教帮助DeepSeek开源的网络通信神器性能再上一个台阶。这项合作的起点要追溯到今年2月——DeepSeek开源了包括在内的五大代码库，揭秘了他们如何。其中，DeepEP作为突破NCCL性能瓶颈的通信框架，，成功让众多。但这项技术存在“富贵病”：在成本较高的专用网络中如鱼得水，却难以适配更普适的。
DeepSeek再次重磅开源DeepEP：开源世界里的 AI 通信 “新引擎”
llm_way的博客
02-27 1124
DeepSeek （）作为 AI 领域的重要参与者，在其开源周活动中推出的 DeepEP，犹如一颗投入湖面的巨石，在 AI 社区激起层层涟漪。这一开源的专家混合（MoE，Mixture of Experts）模型训练和推理通信库，以其独特的功能特性和深远的意义，正逐渐改变着 AI 开发的格局。
DeepSeek 开源周第二弹：DeepEP——为 MoE 模型打造的高效通信利器
2502_90109034的博客
02-25 914
在领域，通信效率一直是制约性能的关键瓶颈。迎来里程碑式突破——，旨在为开发者提供极致的效率优化与灵活的资源控制！截止小编发文，已经来到了，而昨天开源的FlashMLA短短24小时已经来到了，火的一塌糊涂。有人评论说最近这些天好像过了一百年似的还有人评论这才是。
yolo模型精度提升策略
qq_47798402的博客
06-09 633
结合起来，才能最大程度地提升那6种相似BGA的区分能力，从而显著提高整体mAP。持续进行基于难例分析的主动学习是突破瓶颈的可持续方法。使用自适应优化器、学习率热身与余弦退火，进行充分长周期的训练（配合早停）。持续收集模型在相似BGA上的错误样本，优先标注并加入训练集进行迭代。设计模拟BGA实际成像挑战（反光、模糊、视角变化）的增强方案。尝试引入注意力机制，将分类损失替换为。训练数据（2倍以上是合理起点）。（Focal Loss）以及。显著增加6种相似BGA的。（特别是注意力机制）、
原始的 P-Tuning 和 P-Tuning v2 在实现细节上有哪些不同
ZJQ的博客
06-10 558
P-Tuning v2（2022） - **改进点**： - 在模型的每一层都添加软提示（类似 Prefix Tuning 的思路），而不只是输入层。 - **引入轻量级 MLP 层**：在预训练模型的输出后添加一个小型的多层感知机，增强分类能力。 - **结构特点**： ``` 输入文本 + 软提示 → 预训练LM → MLP层 → 分类输出 ``` MLP 通常由 1-2 层线性层组成，参数量远小于全量微调。
二维张量dim=1
GHL_17768588743的博客
06-11 315
在PyTorch中处理二维张量（矩阵）时，‌dim=1‌，也就是逐行处理每一行的所有列元素。
简繁体智能翻译软件
weixin_62784879的博客
06-09 414
以常见物品为例：内地称\"创口贴\"，香港称\"胶布\"，台湾称\"OK绷\"；汽车品牌\"奔驰\"在香港译作\"平治\"、台湾译作\"宾士\"，这类词汇差异需要额外认知成本。该工具内置智能词库系统，能自动识别并转换具有地区特色的用词表达，实现内地、香港、台湾三地语言习惯的精准转换。针对台湾地区使用的注音符号（如ㄅㄆㄇㄈ）及网络流行的火星文等特殊文字形式，提供对应的转换方案。这款工具还有许多功能，我就不一一介绍啦。
扣子开发汽车行业智能客服示例
brucexia的专栏
06-11 888
在本节中，我们想要创建一个AI客服，用于介绍汽车领域的行业知识，因此需要利用知识库的能力。首先，梳理汽车行业知识，形成FAQ（常见问题解答）。然后，将其上传到知识库中。最后，将知识库配置到AI Agent智能体中，使其能够调用知识库的内容作为回复。完成以上步骤之后，当用户咨询Agent有关汽车领域知识的问题时，Agent将根据FAQ的内容进行回答。传统的机器人客服只能生硬地套用FAQ，缺乏灵活性。
大模型Transformer触顶带来的“热潮退去”，稀疏注意力架构创新或是未来
最新发布
打造全国最全的AI Agent开发知识领域的博客
06-11 1190
大模型狂欢落幕，硬核创新登场！Transformer逼近能力天花板，Agent应用成落地新大陆，而架构层正孕育颠覆性突破。中国团队在云端与终端双轨并进，用稀疏注意力、端侧推理优化打开效率魔盒。告别内卷式数据堆砌，迎接深水区技术创新——这一篇，看懂AI未来十年胜负手！
Sklearn 机器学习 缺失值处理 填充数据列的缺失值
Kant2048的博客
06-07 583
使用Scikit-learn处理数据缺失值的完整指南，多种有效的缺失值处理方法。
（五）动手学深度学习计算：从数学原理到高效实现的全流程指南
hanyuge的专栏
06-08 666
在实际应用中，我们常常需要自定义层和块来实现特定的功能。PyTorch提供了灵活的API来创建自定义层和块。无参数层：实现不包含可学习参数的层，如激活函数层。return torch.sigmoid(x) # 示例：Sigmoid激活函数含参数层：实现包含可学习参数的层，如自定义的全连接层。组合层：将多个层组合成一个块，实现复杂的功能。return x层是深度学习模型的基本构建块，执行特定的计算任务。块是由多个层组成的模块，提高代码的可读性和可维护性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值