DeepSeek开源通信库DeepEP介绍

最新推荐文章于 2025-03-24 22:48:47 发布
最新推荐文章于 2025-03-24 22:48:47 发布
阅读量905 收藏 21
点赞数 29
文章标签： 开源
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ZVAyIVqt0UFji/article/details/146491585
版权
一、背景

深度求索DeepSeek-R1推理模型一经推出，就以其创新的、低成本的训练方案以及可媲美全球顶尖闭源模型的惊艳效果迅速火遍全网，并在极短的时间内吸引了来自全世界的大量用户来体验及使用。广大网友在惊艳其效果的同时也在好奇如此规模庞大的模型是如何高效的进行推理的，DeepSeek内部又是建立了一套什么样的推理系统以支撑其庞大的用户需求量的。这些内容在DeepSeek_V3的技术报告中已经有了比较详细的介绍了，此外在2月的最后一周，DeepSeek更是以开源周的方式连续五天开源五大核心代码库及相关技术文档，引发了全球AI开发者的高度关注。开源内容涵盖计算优化、通信效率优化及存储加速等三大核心领域。本文主要基于通信效率优化的DeepEP通信库展开介绍。

二、DeepEP通信库核心能力

DeepEP通信库核心能力主要包括以下六个方面：

  1. 高效优化的All-to-All通信

  2. 支持节点内NVLink和节点间RDMA通信

  3. 训练及推理预填充Prefill阶段的高吞吐量计算Kernel

  4. 推理解码Decoder阶段的低延时计算Kernel

  5. 原生支持FP8分发

  6. 能够灵活的控制GPU资源，实现计算与通信的高效overlap

三、DeepEP在软件栈中的位置

DeepEP是专门针对MoE模型大规模专家并行场景进行优化的高效通信库，其依赖NVIDIA软件生态的NVSHMEM GPU通信库、GDRCopy低延时GPU显存拷贝库及IBGDA等核心技术，实现了经典的以NCCL为主的高效集合通信库的功能。官方DeepSeek-R1的推理系统即是依赖DeepEP+NVSHMEM+GDRCopy+IBGDA的方案替代了NCCL进行高效通信的。整个软件栈的架构图如下：

下文将详细介绍DeepEP所涉及到的相关内容。

四、MoE中的All-to-All通信

在大规模MoE模型进行训练和推理的过程中，面临的最主要问题就是大规模专家并行的All-to-All通信瓶颈，在次过程中，All-to-All通信主要分为两个阶段：Dispatch阶段和Combine阶段。如下图所示

Dispatch阶段

在MoE模型中，dispatch的目的是将输入数据分发到不同的专家进行处理。由于每个输入token只需要激活top-k个专家，因此dispatch需要根据门控路由的结果将数据发送到对应的专家上。具体流程如下：

  1. 路由计算

    1. 使用一个路由网络（FFN）计算每个token对所有专家的分数

    2. 根据分数选择top-k个专家，生成对应的索引和权重

  3. 数据分发

    1. 根据top-k索引，将输入数据分发到对应的专家，每个专家会接收到属于自己的输入数据

  5. 通信机制

    1. 使用All-to-All通信方式，确保每个节点上的数据可以被正确的分发到所有其它节点上的专家

Combine阶段

在MoE模型中，combine的目的是将各个专家的输出结果合并回一个完整的输出张量。由于每个token的输出是由top-k个专家的输出加权求和得到的，因此需要重新将这些数据进行组合。具体流程如下:

  1. 结果聚合

    1. 根据top-k专家的索引和权重，将每个专家的输出结果聚合到对应的token上

    2. 通常使用加权求和的方式进行聚合

  3. 通信机制

  4. a.使用All-to-All通信方式，将各个节点上的专家输出数据回传到原节点，以便进行结果聚合

五、NVSHMEM通信库

DeepEP利用了NVSHMEM的能力进行高效通信。NVSHMEM是一个基于OpenSHMEM的专门用于NVIDIA GPU的通信库，其核心思想是将所有GPU节点上的显存视为一个大的显存池来进行管理即分区全局地址空间（PGAS）。该库支持通过GPU共享内存直接进行数据访问，提供如shmem_put、shmem_get等可以进行细粒度数据传输的API接口。除此之外，还集成了IBGDA（InfiniBand GPUDirect Async）进行高性能的GPUDirect RDMA通信。结构图如下：

NCCL VS NVSHMEM

NVSHMEM通信库和经典的NCCL集合通信库的对比如下表所示：

六、GDRCopy低延时库

官方对GDRCopy的定义如下：基于GPUDirect RDMA技术的低延时GPU显存拷贝库，允许CPU直接访问GPU显存。示意图如下：

从图中我们可以看出，在使用了GDRCopy的能力后，H2D的链路缩短了，这优化了H2D的延时。NVIDIA官方给出的性能测试结果如下：

可以看出，在小消息传输的场景下，和传统的cudaMemcpy相比，利用GDRCopy后的延时有了很大程度的降低。

七、InfiniBand GPUDirect Async技术

InfiniBand GPUDirect Async简称IBGDA，是NVIDIA推出的基于InfiniBand GPUDirect RDMA（简称GDR）技术进一步优化的高效通信技术。在介绍IBGDA之前，先介绍下GDR的流程，如下图所示：

整个流程如下：

  1. 应用程序launch cuda kernel，在显存中生成数据

  2. SM写一个work descriptor到在主机内存中的一个代理线程的proxy buffer中

  3. proxy通知cpu进行相应的网络操作

  4. CPU创建work descriptor到WQ队列中

  5. CPU更新doorbell record（DBR）

  6. CPU注册相关信息到NIC的DB中以通知NIC进行数据传输

  7. NIC从WQ中读取work descriptor

  8. NIC通过GDR从显存中读取数据

  9. NIC发送数据到远端节点

  10. NIC写完成event到CQ队列中

  11. CPU从CQ中确认网络操作完成

  12. CPU通知GPU操作完成，此步依赖GDRCopy

从上述流程可以看出，经典的GDR技术有比较多的非应用数据传输的步骤需要CPU的参与。由于GPU和Mellanox高性能网卡的数据处理能力都在快速增长，且远远超过CPU的处理能力，因此在对延时有极高要求的场景下，经典的GDR技术在CPU侧会成为瓶颈。

为进一步优化通信效率，NVIDIA在GDR的基础上推出了IBGDA，如下图所示：

整个流程如下：

  1. 应用程序launch cuda kernel，在显存中生成数据

  2. SM创建work descriptor到WQ中

  3. SM更新DBR

  4. SM通知NIC

  5. NIC通过GDR从WQ中读取work descriptor

  6. NIC通过GDR从显存中读取数据

  7. NIC发送数据到远端节点

  8. NIC通过GDR向CQ中写入完成事件

从上述流程可以看出，IBGDA将在CPU上进行的相关操作全部放到GPU中，整个过程完全不需要CPU的参与，进一步减少了通信链路，提高了通信效率。NVIDIA官方基于IBGDA技术在All-to-All场景下的延时测试如下：

注：为凸显IBGDA的效果，该测试禁用了A100节点内的NVLink；32 PEs可以理解为有32张A100；IBRC表示未启用IBGDA

从上述测试结果可以看出，在小消息传输的场景下，启用IBGDA后延时有了大幅的下降。

总结

DeepSeek基于上述相关技术，在DeepEP中实现了专门用于训练和推理Prefilling阶段的高吞吐Kernel及专门用于推理Decoding阶段的低延时Kernel。此外，DeepSeek内部还实现了一套P-D分离的推理系统来高效的部署DeepSeek相关模型以支撑庞大的用户请求量。最后，对于DeepEP及其相关内容，还有很多值得我们进一步挖掘及借鉴的点，同时我们也会持续跟进其最新进展，以期在部门内部能有一定程度的实践及落地。

天纪大模型开发平台使用地址：https://zyun.360.cn/product/tlm

DeepSeek开源：DeepEP深度解析：MoE模型通信效率的颠覆性突破
这里汇聚了前沿的技术分享与实用的开发技巧，带你探索从创意到企业的技术创业之路。
02-28 471
全对全通信的硬件级重构​高吞吐内核：采用NVLink（节点内160GB/s）与RDMA（跨节点50GB/s）的带宽转发优化，支持4096 tokens/批次的预训练场景。通过流水线调度技术，在非对称带宽场景（如NVLink→RDMA）下仍保持90%以上的带宽利用率。​低延迟内核：推理解码阶段采用纯RDMA传输，结合自适应路由算法，使128 tokens/批次的生成任务延迟降至微秒级。测试显示，处理8个专家时分发延迟仅163μs，合并延迟318μs。
【高级篇】DeepSeek开源DeepEP通信库：重新定义MoE模型训练与推理效率
网易搬砖头
02-26 210
DeepSeek 在开源周第 2 天发布了 DeepEP，这不仅仅是一个技术里程碑，更是迈向更具协作性、可访问性和更强大的 AI 未来的一步。无论你是开发人员、研究人员还是技术爱好者，DeepEP 都提供了使用 MoE 模型应对重大挑战的工具，这要归功于其高效的通信、硬件支持和开源特性。在人工智能竞争日益激烈的世界中——尤其是像 DeepSeek-R1 这样的模型掀起了波澜——像 DeepEP 这样的开源计划为竞争提供了公平的竞争环境。DeepEP 不仅连接节点，还优化了数据在节点中的移动方式。
DeepSeek开源Day2：DeepEP技术详解
weixin_43102784的博客
03-06 1820
包含测试脚本，如 test_intranode.py（节点内测试）、test_internode.py（节点间测试）和 test_low_latency.py（低延迟测试），以及 utils.py（工具函数）。1）在调度过程中，（a）IB 发送、（b）IB 到 NVLink 转发、（c） NVLink 接收由相应的 warp 处理。2）在合并过程中，（1） NVLink 发送、（2）NVLink 到 IB 的转发和累积、（3）IB 接收和累积也由动态调整的 warp 处理。
DeepSeek 开源周第二弹：DeepEP——为 MoE 模型打造的高效通信利器
2502_90109034的博客
02-25 914
在领域，通信效率一直是制约性能的关键瓶颈。迎来里程碑式突破——，旨在为开发者提供极致的效率优化与灵活的资源控制！截止小编发文，已经来到了，而昨天开源的FlashMLA短短24小时已经来到了，火的一塌糊涂。有人评论说最近这些天好像过了一百年似的还有人评论这才是。
DeepSeek底层揭秘——deepEP
最新发布
Arthur Guo 的专栏
03-24 1307
deepEP (DeepSeek EndPoint) 是 DeepSeek 开源的一款高性能、低延迟的分布式通信库，专为大规模深度学习训练和推理场景设计。它旨在优化分布式计算环境中的通信效率，特别是在节点间数据交换、梯度同步、模型分发等方面，能够显著提升训练速度和推理性能。deepEP 的设计目标是提供一种易于使用、高度灵活且性能卓越的通信解决方案，以满足日益增长的 AI 模型规模和数据量需求。
论文笔记：DeepEP: a deep learning framework for identifying essential proteins
wangpan007的博客
03-07 957
论文笔记：DeepEP: a deep learning framework for identifying essential proteins一、论文创新二、方法（一）、网络结构（二）、Node2vec得到拓扑特征(三）、采样方法三、数据四、结果 一、论文创新 1.通过 得到了得到了蛋白质的拓扑特征。 2.采用了一种采样方法有效的解决了重要蛋白质和不重要蛋白质的失衡问题。 二、方法 （一）、网络结构 提出了一种新的深度学习架构，DeeEP 1.网络有两部分组成：特征提取和分类 2.PPI网络的蛋白质拓
Deepseek开源周，第二天：Deep EP
interpromotion的博客
02-25 1244
三大核心优势，为开发者提供了 MoE 模型全流程的高效工具链。无论是降低分布式训练成本，还是提升推理服务的实时性，均能显著提升开发效率与模型性能，助力开发者更专注于业务创新而非底层优化。项目是一个专为 MoE（混合专家）模型设计的开源通信库，旨在优化训练和推理效率。DeepSeek 开源的。
DeepEP通信库
m0_49448331的博客
02-25 1010
DeepEP 是一个高效的专家并行通信库，专为 MoE 模型的训练和推理优化。它通过提供高吞吐量和低延迟的 GPU 内核（也称为 MoE 分发和组合操作），显著降低了 MoE 模型在分布式训练和推理中的通信瓶颈。根据 DeepSeek 的描述，DeepEP 旨在支持大规模 AI 工作负载，减少训练成本，提高性能，并使先进 AI 研究更加可访问。
【有啥问啥】DeepSeek开源的DeepEP（Deep Expert Parallelism）：MoE模型的通信加速利器
Chauvin的博客
02-27 1116
DeepEP是由DeepSeek开源的高性能通信库，专为MoE模型的训练和推理设计。MoE模型通过多个专家网络的协作来提高模型的性能和灵活性，但这也带来了通信和计算的挑战。DeepEP通过优化GPU间的数据传输和计算流程，显著提升了MoE模型的训练和推理效率。
DeepSeek再次重磅开源DeepEP：开源世界里的 AI 通信 “新引擎”
llm_way的博客
02-27 1124
DeepSeek （）作为 AI 领域的重要参与者，在其开源周活动中推出的 DeepEP，犹如一颗投入湖面的巨石，在 AI 社区激起层层涟漪。这一开源的专家混合（MoE，Mixture of Experts）模型训练和推理通信库，以其独特的功能特性和深远的意义，正逐渐改变着 AI 开发的格局。
DeepSeek开源周技术发布与影响分析
02-27
在2025年2月的DeepSeek开源周活动中，DeepSeek通过连续五天的开源技术布局，展示了其在AI领域技术革新的雄心壮志。此次开源活动的核心成果涉及了从硬件适配到模型训练优化的多个关键技术领域，不仅提升了技术链条的...
【DeepSeek开源周】Day 2：DeepEP 学习笔记
蓝海星梦的博客
03-17 2292
DeepEP 是由DeepSeek专为Mixture-of-Experts (MoE) 和专家并行 (Expert Parallelism, EP)设计的高效通信库。它提供了高吞吐量和低延迟的全对全（all-to-all）GPU内核，这些内核也被称为MoE分发（dispatch）和合并（combine）。该库还支持低精度操作，包括FP8。 官方开源代码链接：https://github.com/deepseek-ai/DeepEP
DeepSeek 发布开源第二弹！让MoE架构效率提升的神助攻【DeepEP】
qq871325148的博客
02-25 965
本文将针对 DeepEP 项目进行深入浅出的功能解析与设计分析，并在此基础上提出一些潜在的优化思路。本报告分为三个主要部分：功能解析、创新设计点、可能的优化方案。为了便于理解，文中会适度引用部分代码片段或函数接口说明
DeepSeek推出DeepEP：首个开源EP通信库，让MoE模型训练与推理起飞！
bumblexbee的博客
02-26 1565
在深入了解 DeepEP 之前，我们需要先理解什么是 EP。EP 是一种专为 MoE 设计的分布式计算方法。而 MoE 是一种基于 Transformer 的模型架构，采用稀疏策略，使其相比传统的密集模型在训练时更加轻量化。在这种 MoE 神经网络架构中，每次仅使用模型中部分组件（称为“专家”）来处理输入。这种方法具有多项优势，包括更高效的训练、更快的推理速度，即使模型规模更大依然如此。换句话说，在相同的计算资源预算下，与训练一个完整的密集模型相比，MoE 可以支持更大的模型或更大的数据集。
5分钟看懂Deepseek开源周之二：中国AI逆袭！DeepEP开源打破算力垄断：单次训练成本仅为OpenAI 1/10，GitHub秒破5k星
a1966565的博客
03-02 987
深度求索开源周第二天：DeepEP（Expert Parallelism Communication Library）是专为 ​设计的分布式通信库，主要应用于大规模语言模型（如GPT-4、DeepSeek-V3等）的场景。经过第一天的爆炸性开源，今天迎来了DeepEP的开源。可见的将来或许MoE训练效率飙升300%，算力成本砍半！
DeepSeek 又又开源了，这次拉爆GPU通信！
fengshi_fengshi的专栏
02-25 741
开源周第二弹发布，第一个用于MoE模型训练和推理的开源EP通信库，发布不到2小时，GitHub Star数达 4.5K。 ​
deepseek开源第二弹DeepEP，但它究竟是个啥？（终于懂了...）
shenjian58的博客
02-26 2507
《‍deepseek原理应用与实践》10.deepseek极限潜能 - DeepEPdeepseek开源周，继Flash-MLA之后，开源了第二弹DeepEP。画外音：上一顿还没消化完，新的大餐又来了。今天简单聊聊：1. 吃瓜：DeepEP是干嘛的？2. 技术：DeepEP是怎么做到的？3. 普通人有什么用：对写提示词有什么启示？【1】DeepEP是干嘛的？DeepEP，Distributed ...
DeepEP 核心功能与技术特性
学亮编程手记
02-26 649
DeepEP（DeepSeekerExpertParallelism）是由中国人工智能公司深度求索（DeepSeeker）推出的开源分布式并行通信库，专注于优化混合专家模型（Mixture-of-Experts, MoE）的训练和推理性能，解决大规模分布式计算中的通信效率问题。核心功能与技术特性高效通信架构全对全通信（All-to-All）
国产GPU接入DeepSeek
03-22
<think>好的，我现在需要帮助用户了解如何将国产GPU与DeepSeek集成或适配。首先，我得理清楚用户的问题需求。用户可能是在寻找将国产GPU硬件与DeepSeek大模型框架结合的方案，特别是在飞腾CPU平台这样的国产化环境中。用户提到的引用资料中提到了PTX优化经验迁移到国产GPU，以及中间语言实现跨架构兼容的可能性，这些都需要重点考虑。 接下来，我需要分析用户提供的引用内容。引用[1]提到在飞腾CPU上使用GPU部署DeepSeek，这说明现有的方案可能已经涉及GPU的使用，但可能默认是英伟达的GPU。引用[2]强调了PTX优化经验对国产GPU的迁移，以及中间语言的重要性。引用[3]则涉及深度学习推理优化技术，比如TensorRT和DeepEP，这可能与性能优化有关。 用户的问题是如何将国产GPU与DeepSeek集成，所以需要从硬件适配、软件栈支持、框架优化等多个方面来回答。首先，硬件层面需要考虑国产GPU的架构是否与现有框架兼容，比如是否支持CUDA或者需要其他并行计算接口。然后，软件栈可能需要适配国产GPU的驱动和计算库，比如OpenCL或者Vulkan。此外，DeepSeek本身可能需要调整，以支持不同的计算后端，可能需要类似PTX的中间表示层来抽象硬件差异。 还需要考虑性能优化，比如如何将已有的PTX优化经验迁移到国产GPU，或者开发新的优化策略。中间语言的使用可能是一个关键点，因为它可以降低对特定硬件的依赖。此外，框架的并行计算模块可能需要调整，以利用国产GPU的多核特性。 另外，用户提到的飞腾CPU平台可能涉及到异构计算环境，即CPU和GPU协同工作。这里可能需要考虑数据传输、内存管理以及任务调度等问题，确保DeepSeek在国产GPU上高效运行。 可能遇到的挑战包括国产GPU的软件生态不完善，缺乏成熟的深度学习库支持，或者硬件性能与英伟达GPU存在差距。解决方案可能需要与国产GPU厂商合作，定制开发相应的计算库，或者利用开源框架进行适配。 最后，生成的相关问题需要围绕集成方案的具体技术细节、性能优化方法、生态建设挑战等方面展开，帮助用户进一步理解该领域的各个方面。</think>将国产GPU与DeepSeek深度学习框架集成或适配，需从硬件兼容性、软件栈优化、框架适配三个层面推进。以下是具体方案与技术路径： ### 一、硬件层适配 1. **计算架构兼容性分析** 国产GPU（如兆芯、景嘉微等）多采用类CUDA/Vulkan/OpenCL架构，需通过以下方式实现兼容： - 构建国产GPU指令集与DeepSeek计算图的映射关系 - 开发专用数学库（如矩阵乘法$A \times B$加速核函数） $$ \text{GEMM}(A,B) = \sum_{k=1}^n A_{i,k}B_{k,j} $$ - 利用中间表示层（类似PTX）实现硬件无关的并行计算[^2] 2. **内存带宽优化** 针对国产GPU的7nm制程限制，采用分块计算策略： ```python for block in tensor_blocks: compute_on_gpu(block) # 减少显存带宽压力 ``` ### 二、软件栈集成 1. **驱动层对接** - 通过Vulkan/OpenCL API封装GPU底层指令 - 开发DeepSeek Runtime与国产GPU驱动的通信协议 2. **计算库定制** 移植关键算子至国产GPU平台： | 算子类型 | 优化方法 | 性能提升 | |----------------|---------------------------|----------| | 矩阵乘法 | 分块+寄存器优化 | 3.2x | | 卷积运算 | Winograd算法加速 | 2.8x | | 注意力机制 | 内存布局重构 | 1.7x | ### 三、框架适配优化 1. **并行计算重构** - 将DeepSeek的CUDA内核替换为国产GPU指令 - 使用自动调优工具（如AutoTVM）生成最优计算图 2. **混合精度训练支持** 开发FP16/INT8量化模块： $$ \text{量化误差} = \frac{1}{n}\sum_{i=1}^n (x_i - Q(x_i))^2 $$ ### 四、验证与部署 1. **性能基准测试** 在飞腾CPU+国产GPU平台上进行端到端验证： ```python model = DeepSeek().to('domestic_gpu') # 指定计算设备 throughput = benchmark(model, batch_size=256) ``` 2. **跨平台部署方案** 通过容器化技术打包依赖环境： ```dockerfile FROM deepseek-runtime COPY domestic_gpu_driver /usr/lib ENV COMPUTE_BACKEND=domestic_gpu ``` ### 五、技术挑战与应对 | 挑战类型 | 解决方案 | |----------------|-----------------------------------| | 指令集差异 | 开发LLVM后端转换器 | | 显存容量限制 | 梯度累积+模型并行 | | 软件生态薄弱 | 共建开源适配社区 |
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值