DeepSeek发布DeepEP：MoE模型通信效率的革新者

最新推荐文章于 2025-06-09 23:54:15 发布
最新推荐文章于 2025-06-09 23:54:15 发布
阅读量847 收藏 10
点赞数 5
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/coderroad/article/details/145905048
版权

DeepEP，Distributed Expert Parallel Communication Library，是为混合专家MOE与并行专家EP量身定制（tailored）的通信库（communication library）。

Stars 数6257
Forks 数464

主要特点

  • 高效通信架构：DeepEP支持节点内与跨节点的全对全通信优化，兼容NVLink和RDMA（远程直接内存访问）技术。

    • 节点内通信：通过NVLink实现高达160 GB/s的带宽，减少GPU间的数据传输延迟；

    • 跨节点通信：利用RDMA网络（如InfiniBand或RoCE）绕过CPU，直接访问远程GPU内存，降低协议栈开销。

  • 多精度计算与调度优化：DeepEP原生支持FP8低精度运算，相比传统的FP16或BF16格式，FP8可将显存占用和带宽需求降低50%，同时保持模型精度。这一特性尤其适用于大规模预训练场景，显著降低计算资源消耗。此外，其调度器支持动态切换精度模式，适应不同任务需求。

  • 双模式内核设计

    • 高吞吐量内核：面向训练和推理预填充阶段，通过批量处理数据最大化吞吐量。在H800 GPU测试中，结合NVLink与InfiniBand CX7网卡（50 GB/s带宽），DeepEP在4096 tokens/批次的预训练任务中展现了显著的性能优势。

    • 低延迟内核：针对推理解码场景，采用纯RDMA通信并引入自适应路由技术，最小化端到端延迟。测试显示，在128 tokens/批次的推理任务中，延迟较传统方案降低30%以上。

  • 计算-通信重叠机制：通过基于Hook的异步通信设计，DeepEP实现了计算与通信的无缝重叠。该方法不占用SM资源，允许GPU在执行计算任务的同时处理数据传输，避免了传统同步通信导致的资源闲置。

GitHub：https://github.com/deepseek-ai/DeepEP 

DeepSeek开源：DeepEP深度解析：MoE模型通信效率的颠覆性突破
这里汇聚了前沿的技术分享与实用的开发技巧，带你探索从创意到企业的技术创业之路。
02-28 460
全对全通信的硬件级重构​高吞吐内核：采用NVLink（节点内160GB/s）与RDMA（跨节点50GB/s）的带宽转发优化，支持4096 tokens/批次的预训练场景。通过流水线调度技术，在非对称带宽场景（如NVLink→RDMA）下仍保持90%以上的带宽利用率。​低延迟内核：推理解码阶段采用纯RDMA传输，结合自适应路由算法，使128 tokens/批次的生成任务延迟降至微秒级。测试显示，处理8个专家时分发延迟仅163μs，合并延迟318μs。
DeepSeek再次重磅开源DeepEP：开源世界里的 AI 通信 “新引擎”
llm_way的博客
02-27 1124
DeepSeek （）作为 AI 领域的重要参与者，在其开源周活动中推出的 DeepEP，犹如一颗投入湖面的巨石，在 AI 社区激起层层涟漪。这一开源的专家混合（MoE，Mixture of Experts）模型训练和推理通信库，以其独特的功能特性和深远的意义，正逐渐改变着 AI 开发的格局。
DeepSeek开源周Day2：DeepEP - 专为 MoE 模型设计的超高效 GPU 通信库
MnivL的博客
02-25 2399
本文介绍了 DeepSeek 开源的高性能通信库 DeepEP。它专为混合专家模型（MoE）和专家并行（EP）场景设计，旨在解决大模型训练中 GPU 间数据通信的瓶颈问题。文中阐述了其核心功能与设计理念，包括域间带宽优化、低精度计算支持、通信 - 计算重叠等技术亮点。通过性能实测展示了在不同场景下的出色表现，如高吞吐、低延迟等。还介绍了架构设计、快速入门指南、高级调优建议、应用场景与案例等，并提及了开源生态和注意事项。DeepEP 的推出标志着 MoE 训练进入新阶段，有望推动千亿级模型突破训练效率边界。
DeepEP 使用与配置指南
gitblog_00503的博客
03-27 354
DeepEP 使用与配置指南 DeepEP DeepEP: an efficient expert-parallel communication library 项目地址: https://gitcode.com/gh_mirro...
DeepEP通信库
m0_49448331的博客
02-25 1004
DeepEP 是一个高效的专家并行通信库，专为 MoE 模型的训练和推理优化。它通过提供高吞吐量和低延迟的 GPU 内核（也称为 MoE 分发和组合操作），显著降低了 MoE 模型在分布式训练和推理中的通信瓶颈。根据 DeepSeek 的描述，DeepEP 旨在支持大规模 AI 工作负载，减少训练成本，提高性能，并使先进 AI 研究更加可访问。
DeepSeek 又又开源了，这次拉爆GPU通信！
fengshi_fengshi的专栏
02-25 735
开源周第二弹发布，第一个用于MoE模型训练和推理的开源EP通信库，发布不到2小时，GitHub Star数达 4.5K。 ​
DeepSeek 开源周：DeepEP 项目详解，GPU 压榨计划启动！
东方佑
02-25 1234
DeepEP 是一个专门针对 Mixture-of-Experts (MoE) 训练方法设计的通信工具，其核心目标是通过优化 GPU 之间的数据传输来加速 AI 的训练和推理过程。提升 GPU 间的数据传输速度，无论是 NVLink（同一机器内的 GPU）还是 RDMA（跨机器的 GPU）。减少推理解码阶段的延迟，这对于实时应用如 ChatGPT 至关重要。实现计算和数据传输的并行执行，避免因等待数据传输而导致的计算停滞。
论文笔记：DeepEP: a deep learning framework for identifying essential proteins
wangpan007的博客
03-07 957
论文笔记：DeepEP: a deep learning framework for identifying essential proteins一、论文创新二、方法（一）、网络结构（二）、Node2vec得到拓扑特征(三）、采样方法三、数据四、结果 一、论文创新 1.通过 得到了得到了蛋白质的拓扑特征。 2.采用了一种采样方法有效的解决了重要蛋白质和不重要蛋白质的失衡问题。 二、方法 （一）、网络结构 提出了一种新的深度学习架构，DeeEP 1.网络有两部分组成：特征提取和分类 2.PPI网络的蛋白质拓
DeepSeek感谢腾讯：大模型网络提速技术方案的重要贡献！
2401_85375151的博客
05-07 822
最近，DeepSeek工程师在GitHub上高亮了来自腾讯的代码贡献，并用介绍了这次性能提升。什么样的优化技术让顶尖AI团队如此兴奋？简单来说，是腾讯多年来调教帮助DeepSeek开源的网络通信神器性能再上一个台阶。这项合作的起点要追溯到今年2月——DeepSeek开源了包括在内的五大代码库，揭秘了他们如何。其中，DeepEP作为突破NCCL性能瓶颈的通信框架，，成功让众多。但这项技术存在“富贵病”：在成本较高的专用网络中如鱼得水，却难以适配更普适的。
DeepSeek 开源周第二弹：DeepEP——为 MoE 模型打造的高效通信利器
2502_90109034的博客
02-25 912
在领域，通信效率一直是制约性能的关键瓶颈。迎来里程碑式突破——，旨在为开发者提供极致的效率优化与灵活的资源控制！截止小编发文，已经来到了，而昨天开源的FlashMLA短短24小时已经来到了，火的一塌糊涂。有人评论说最近这些天好像过了一百年似的还有人评论这才是。
深度学习之模型压缩三驾马车：基于ResNet18的模型剪枝实战（2）
ak47maker的博客
06-05 581
本文针对ResNet18模型剪枝进行了优化改进，主要包含三个方面：1) 将剪枝目标层从底层conv1调整为中间层layer2.0.conv1，减少对基础特征的破坏；2) 采用基于激活值的前向传播方法评估通道重要性，优先剪除低激活通道；3) 改进微调策略，动态解冻关联层并使用更低学习率(0.0001)进行10轮微调。这些优化有效提升了剪枝后模型的稳定性和性能表现，特别是通过中间层剪枝和基于特征贡献的通道选择策略，避免了底层特征破坏带来的连锁反应。
yolo模型精度提升策略
最新发布
qq_47798402的博客
06-09 189
结合起来，才能最大程度地提升那6种相似BGA的区分能力，从而显著提高整体mAP。持续进行基于难例分析的主动学习是突破瓶颈的可持续方法。使用自适应优化器、学习率热身与余弦退火，进行充分长周期的训练（配合早停）。持续收集模型在相似BGA上的错误样本，优先标注并加入训练集进行迭代。设计模拟BGA实际成像挑战（反光、模糊、视角变化）的增强方案。尝试引入注意力机制，将分类损失替换为。训练数据（2倍以上是合理起点）。（Focal Loss）以及。显著增加6种相似BGA的。（特别是注意力机制）、
【python深度学习】Day 45 Tensorboard使用介绍
2203_75479908的博客
06-05 620
之前在神经网络训练中，为了帮助自己理解，借用了很多的组件，比如训练进度条、可视化的loss下降曲线、权重分布图，运行结束后还可以查看单张图的推理效果。tensorboard这个库，集成了以上所有可视化工具。
智能终端与边缘计算
wozaiwurenchu的博客
06-05 819
Cloudlet的定义和主要特征Cloudlet（微云）概念于2009年首次出现。它是一种成熟的边缘计算系统，旨在将移动计算的“端-云”两层架构转变为**“端-边-云”的三层架构** [对话历史]。Cloudlet通常部署在网络边缘，靠近接入点、基站或汇聚点，甚至可以直接运行在智能网联汽车或无人机上 [对话历史]。主要特征：可信且资源丰富的主机或机群。基于虚拟机技术，为移动终端提供服务。Cloudlet通过将与具体应用相关的数据部分从通用部分中抽离出来，形成VM Overlay与Base VM。
法律AI的“幻觉”治理：大模型如何重塑司法公正与效率
七刀的专栏
06-04 1133
在传统律师事务所中，一位律师审查一份50页的商业合同平均需要3小时；而在引入法律大模型后，这一时间被缩短至20分钟。效率提升的背后，是一场正在席卷全球法律体系的智能化革命——。
Langchain4j 文档处理（7）
m0_58617940的博客
06-05 1098
来自 langchain4j 模块的文件系统文档加载器（FileSystemDocumentLoader）来自 langchain4j 模块的类路径文档加载器（ClassPathDocumentLoader）来自 langchain4j 模块的网址文档加载器（UrlDocumentLoader）来自 langchain4j-document-loader-amazon-s3 模块的亚马逊 S3 文档加载器（AmazonS3DocumentLoader）
【oobabooga 本地AI模型搭建】
开心就好了啦
06-05 909
用于大型语言模型的 Gradio Web UI。其目标是成为文本生成的。
高效VLM：VisionZip
my的博客
06-04 644
《VisionZip：视觉语言模型中的高效视觉标记压缩方法》针对现有视觉语言模型(VLMs)存在的视觉标记冗余问题，提出了一种创新解决方案。研究发现，传统VLMs使用长序列视觉标记会导致计算成本高昂，且大量标记注意力权重趋近于零，存在显著冗余。VisionZip通过两阶段处理（保留主导标记+合并次要标记），在仅保留10%标记的情况下实现95%的原模型性能，并将LLaVA-NeXT模型的预填充时间减少8倍。该方法支持无训练应用、高效微调和从头训练三种模式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值