DeepSeek 开源周第二天开源项目 DeepEP！太强了！！

最新推荐文章于 2025-06-18 15:30:40 发布
最新推荐文章于 2025-06-18 15:30:40 发布
阅读量248 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 大语言模型 人工智能 文章标签： DeepEP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zengNLP/article/details/145865290

DeepSeek 开源周第二天开源项目 DeepEP

    1. 最大亮点就是DeepEP是首个开源的 MoE 模型训练和推理的 EP 通信库
    1. 特点

    ✅ 高效优化的全对全通信
    ✅ 支持节点内和节点间通信，兼容 NVLink 和 RDMA
    ✅ 高吞吐量的内核，用于训练和推理前置填充
    ✅ 低延迟内核，用于推理解码
    ✅ 原生 FP8 调度支持
    ✅ 灵活的 GPU 资源控制，支持计算与通信的重叠

    在这里插入图片描述

在这里插入图片描述

太强了！！！deepseek ！！！

参考

https://github.com/deepseek-ai/DeepEP

DeepSeek开源：DeepEP深度解析：MoE模型通信效率的颠覆性突破
这里汇聚了前沿的技术分享与实用的开发技巧，带你探索从创意到企业的技术创业之路。
02-28 559
全对全通信的硬件级重构​高吞吐内核：采用NVLink（节点内160GB/s）与RDMA（跨节点50GB/s）的带宽转发优化，支持4096 tokens/批次的预训练场景。通过流水线调度技术，在非对称带宽场景（如NVLink→RDMA）下仍保持90%以上的带宽利用率。​低延迟内核：推理解码阶段采用纯RDMA传输，结合自适应路由算法，使128 tokens/批次的生成任务延迟降至微秒级。测试显示，处理8个专家时分发延迟仅163μs，合并延迟318μs。
DeepSeek 开源周第三天：探索 DeepGEMM
iCloudEnd的博客
02-26 149
DeepSeek 在开源周第三天发布了 DeepGEMM，这不仅仅是一个技术里程碑，更是迈向更具协作性、更高效、更强大的 AI 未来的一步。无论您是开发人员、研究人员还是技术爱好者，DeepGEMM 都可以提供工具来优化 MoE 模型的矩阵运算，这要归功于其 FP8 性能、JIT 编译和开源特性。
DeepSeek推出DeepEP：首个开源EP通信库，让MoE模型训练与推理起飞！
02-26 1851
在深入了解 DeepEP 之前，我们需要先理解什么是 EP。EP 是一种专为 MoE 设计的分布式计算方法。而 MoE 是一种基于 Transformer 的模型架构，采用稀疏策略，使其相比传统的密集模型在训练时更加轻量化。在这种 MoE 神经网络架构中，每次仅使用模型中部分组件（称为“专家”）来处理输入。这种方法具有多项优势，包括更高效的训练、更快的推理速度，即使模型规模更大依然如此。换句话说，在相同的计算资源预算下，与训练一个完整的密集模型相比，MoE 可以支持更大的模型或更大的数据集。
GPU 分布式通信加速黑马！DeepEP 的实战与深度剖析
最新发布
06-18 1084
DeepEP：专为MoE架构优化的高性能通信库 随着MoE/EP稀疏激活模型广泛应用，分布式all-to-all通信成为训练和推理瓶颈。DeepEP由DeepSeek.ai开发，针对这一痛点提供GPU原生优化方案，实现150+GB/s高吞吐和<200μs低延迟。 核心特性包括： 硬件级优化（NVLink/RDMA） FP8低精度支持 通信-计算异步重叠 兼容标准PyTorch API 安装部署简便，通过CMake和Python构建即可使用。实际测试显示，在Transformer MoE训练中通信延迟降
DeepSeek 最新发布 DeepEP：一款用于 MoE 模型训练和推理的开源 EP 通信库
qianggezhishen的专栏
02-28 1087
这些内核针对需要高吞吐量的场景进行了优化，例如推理的预填充阶段或训练。它们通过利用 NVLink 和 RDMA 网络技术，高效地在 GPU 之间转发数据。例如，在带有 NVLink 的 Hopper GPU 上进行的测试显示，节点内通信的吞吐量约为 153 GB/s，而使用 CX7 InfiniBand（大约 50 GB/s 带宽）的节点间测试实现了约 43–47 GB/s 的稳定性能。通过最大化可用带宽，这些内核减少了在 token 分发和结果合并期间的通信开销。
DeepSeek 开源周第二弹：DeepEP——为 MoE 模型打造的高效通信利器
2502_90109034的博客
02-25 962
在领域，通信效率一直是制约性能的关键瓶颈。迎来里程碑式突破——，旨在为开发者提供极致的效率优化与灵活的资源控制！截止小编发文，已经来到了，而昨天开源的FlashMLA短短24小时已经来到了，火的一塌糊涂。有人评论说最近这些天好像过了一百年似的还有人评论这才是。
DeepEP通信库
m0_49448331的博客
02-25 1086
DeepEP 是一个高效的专家并行通信库，专为 MoE 模型的训练和推理优化。它通过提供高吞吐量和低延迟的 GPU 内核（也称为 MoE 分发和组合操作），显著降低了 MoE 模型在分布式训练和推理中的通信瓶颈。根据 DeepSeek 的描述，DeepEP 旨在支持大规模 AI 工作负载，减少训练成本，提高性能，并使先进 AI 研究更加可访问。
DeepSeek 开源周第 6 天：DeepSeek-V3/R1 推理系统深度剖析
llm_way的博客
03-04 988
DeepSeek 作为 AI 创新领域的佼佼者，在 2025 年 2 月 24 日开启了开源周活动，旨在分享其经过实际生产检验、助力通用人工智能（AGI）发展的工具。在开源周的前五天，DeepSeek 陆续推出了如等令人瞩目的工具以及和Thruster。而在第 6 天，DeepSeek 揭开了 DeepSeek-V3/R1 推理系统概述的神秘面纱，这一系统在优化大规模语言模型推理、提高吞吐量、降低延迟等方面展现出了卓越的性能，引起了 AI 领域的广泛关注。
DeepSeek开源周第三天重磅推出DeepGEMM
llm_way的博客
02-28 962
DeepSeek ()公司在开源周第三天推出的 DeepGEMM，便是这样一颗重磅 “巨石”。作为一款 FP8 通用矩阵乘法（GEMM）库，它正以惊人的力量重塑人工智能训练和推理的方式，在全球 AI 领域掀起了一阵创新浪潮。
DeepSeek 开源周第二天：什么是 DeepSeek DeepEP？DeepEP就像是机器学习系统中数据的智能流量管理器，确保所有专家都能按时获得数据并能无延迟地协同工作，从而使系统更高效、更快速
iCloudEnd的博客
02-26 96
在生成式 AI 中，混合专家 (MoE)是一种使用多个专门的“专家”子模型来处理不同任务的模型架构。MoE 模型不会使用单个大型模型来处理所有任务，而是根据输入有选择地激活一组专家，通过仅使用最相关的专家来完成每项任务，从而提高效率。这种方法有助于在保持计算效率的同时扩大模型规模。专家并行 (EP)是指专家混合 (MoE) 模型中使用的一种技术，其中多个专家（专业子模型）并行工作以处理任务的不同部分。
DeepSeek-OpenSourceWeek-第二天-DeepEP
晓的博客
02-25 1061
更大的模型通常能带来更好的性能，但在计算资源有限的情况下，需要优化训练策略。
DeepSeek底层揭秘——deepEP
Arthur Guo 的专栏
03-24 1495
deepEP (DeepSeek EndPoint) 是 DeepSeek 开源的一款高性能、低延迟的分布式通信库，专为大规模深度学习训练和推理场景设计。它旨在优化分布式计算环境中的通信效率，特别是在节点间数据交换、梯度同步、模型分发等方面，能够显著提升训练速度和推理性能。deepEP 的设计目标是提供一种易于使用、高度灵活且性能卓越的通信解决方案，以满足日益增长的 AI 模型规模和数据量需求。
论文笔记：DeepEP: a deep learning framework for identifying essential proteins
wangpan007的博客
03-07 983
论文笔记：DeepEP: a deep learning framework for identifying essential proteins一、论文创新二、方法（一）、网络结构（二）、Node2vec得到拓扑特征(三）、采样方法三、数据四、结果 一、论文创新 1.通过 得到了得到了蛋白质的拓扑特征。 2.采用了一种采样方法有效的解决了重要蛋白质和不重要蛋白质的失衡问题。 二、方法 （一）、网络结构 提出了一种新的深度学习架构，DeeEP 1.网络有两部分组成：特征提取和分类 2.PPI网络的蛋白质拓
DeepEP 核心功能与技术特性
学亮编程手记
02-26 733
DeepEP（DeepSeekerExpertParallelism）是由中国人工智能公司深度求索（DeepSeeker）推出的开源分布式并行通信库，专注于优化混合专家模型（Mixture-of-Experts, MoE）的训练和推理性能，解决大规模分布式计算中的通信效率问题。核心功能与技术特性高效通信架构全对全通信（All-to-All）
【DeepSeek开源周】Day 2：DeepEP 学习笔记
蓝海星梦的博客
03-17 2663
DeepEP 是由DeepSeek专为Mixture-of-Experts (MoE) 和专家并行 (Expert Parallelism, EP)设计的高效通信库。它提供了高吞吐量和低延迟的全对全（all-to-all）GPU内核，这些内核也被称为MoE分发（dispatch）和合并（combine）。该库还支持低精度操作，包括FP8。 官方开源代码链接：https://github.com/deepseek-ai/DeepEP
核弹级突破！DeepEP让千亿模型训练速度狂飙200%，AI巨头集体颤抖！
CREATE_17的博客
02-25 142
点击卡片“大数据实战演练”，选择“设为星标”或“置顶”回复“资料”可领取独家整理的大数据学习资料！回复“Ambari知识库”可领取独家整理的Ambari学习资料！回复“deepseek”可领取干货资料以及知识库！????【AI新基建】DeepEP横空出世！让千亿级大模型训练飞起来！????DeepSeek开源周第二弹——DeepEP！这个由DeepSeek团队打造的通信库，专治大模型训练的“通信卡脖子”难题，...
Deepseek开源周，第二天：Deep EP
interpromotion的博客
02-25 1305
三大核心优势，为开发者提供了 MoE 模型全流程的高效工具链。无论是降低分布式训练成本，还是提升推理服务的实时性，均能显著提升开发效率与模型性能，助力开发者更专注于业务创新而非底层优化。项目是一个专为 MoE（混合专家）模型设计的开源通信库，旨在优化训练和推理效率。DeepSeek 开源的。
DeepSeek开源周Day2：DeepEP - 专为 MoE 模型设计的超高效 GPU 通信库
MnivL的博客
02-25 2577
本文介绍了 DeepSeek 开源的高性能通信库 DeepEP。它专为混合专家模型（MoE）和专家并行（EP）场景设计，旨在解决大模型训练中 GPU 间数据通信的瓶颈问题。文中阐述了其核心功能与设计理念，包括域间带宽优化、低精度计算支持、通信 - 计算重叠等技术亮点。通过性能实测展示了在不同场景下的出色表现，如高吞吐、低延迟等。还介绍了架构设计、快速入门指南、高级调优建议、应用场景与案例等，并提及了开源生态和注意事项。DeepEP 的推出标志着 MoE 训练进入新阶段，有望推动千亿级模型突破训练效率边界。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

szZack

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值