DeepSeek开源专为FP8设计的DeepGEMM，核心内核代码仅300行！

最新推荐文章于 2025-06-05 22:56:29 发布
最新推荐文章于 2025-06-05 22:56:29 发布
阅读量661 收藏 5
点赞数 5
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/coderroad/article/details/145908285
版权

DeepGEMM 是一个支持密集和混合专家（MoE）GEMM的FP8 GEMM库 ，专为DeepSeek-V3/R1模型的训练与推理提供简洁高效的底层支持。它采用CUDA编写，通过轻量级的即时编译（JIT）模块，在运行时编译所有内核，安装过程无需预先编译，为开发者提供了极大的便利。

Stars 数3933
Forks 数304

主要特点

  • 惊人的计算速度：在英伟达Hopper GPU架构上，DeepGEMM最高可达到1350+ FP8 TFLOPS（每秒万亿次浮点运算）的惊人速度，使得大模型在矩阵计算这一核心操作上能够飞速运行，大大缩短训练和推理时间。

  • 极致的简洁性：其核心逻辑仅约300行代码，却在大多数矩阵尺寸上均优于专家调优的内核。没有过多复杂的依赖，就像一本简洁易懂的教程，降低了开发者学习和使用的门槛，即使是初学者也能快速上手，理解其矩阵乘法的优化逻辑。

  • 灵活的布局支持：不仅支持密集布局，还能处理两种MoE布局，这使得它能够适应不同类型的大模型架构，无论是传统的密集模型，还是新兴的混合专家模型，DeepGEMM都能发挥其强大的计算优势。

使用要求

  • Hopper 架构 GPU，sm_90a必须支持

  • Python 3.8 或更高版本

  • CUDA 12.3 或更高版本（官方建议强烈建议使用 12.8 或更高版本）

  • PyTorch 2.1 或更高版本

  • CUTLASS 3.6 或更高版本（可以通过 Git 子模块克隆） 

GitHub：https://github.com/deepseek-ai/DeepGEMM 

仅仅300行代码！DeepSeek开源核弹级算力引擎DeepGEMM
飞乐鸟的博客
02-26 220
仅仅300行代码！DeepSeek开源核弹级算力引擎DeepGEMM
DeepSeek 开源周第三天：探索 DeepGEMM
iCloudEnd的博客
02-26 140
DeepSeek 在开源周第三天发布了 DeepGEMM，这不仅仅是一个技术里程碑，更是迈向更具协作性、更高效、更强大的 AI 未来的一步。无论您是开发人员、研究人员还是技术爱好者，DeepGEMM 都可以提供工具来优化 MoE 模型的矩阵运算，这要归功于其 FP8 性能、JIT 编译和开源特性。
DeepSeek开源DeepGEMM：高效 FP8 GEMM 核心与优化技术
人工智能讲师分享前沿技术
02-26 849
DeepSeek开源第三弹：DeepGEMM。是一个专为 NVIDIA Hopper 架构设计的高效 FP8 GEMM（通用矩阵乘法）库，支持密集（dense）和混合专家（MoE）分组矩阵乘法运算。
GPU效率暴涨！DeepSeek开源DeepGEMM，仅300行代码
RPA中国
02-26 454
例如，一个传统的 FP32 数字占用 4 个字节，而FP8 只占用 1 个字节，这意味着在相同的内存容量下，我们可以存储更多的数据，从而加速大规模深度学习模型的训练和推理，尤其适合硬件资源有限的情况。例如，假设我们有两个矩阵A和B，矩阵A的大小是 3×2，矩阵B的大小是 2×4，那么通过GEMM 计算后，我们可以得到一个大小为 3×4 的矩阵 C，即C=A × B。此外，DeepGEMM 支持非 2 的幂次方的块大小，以提高 GPU 的利用率，并通过修改编译后的二进制指令优化细粒度缩放的性能。
刚刚！DeepSeek开源DeepGEMM，V3/R1训练推理的关键，核心代码仅300行！
Datawhale
02-26 316
Datawhale分享开源周：Day 03，编辑：Datawhale信息来源｜X、机器之心、新智元上周五，DeepSeek 发推说本周将是开源周（OpenSourceWeek），并将连续开源五个软件库。第一天，他们开源了一款用于 Hopper GPU 的高效型 MLA 解码核：FlashMLA。第二天，他们开源了首个专为 MoE（专家混合）模型训练和推理打造的开源 EP 通信库：DeepEP。...
DeepSeek 开源周第三弹！DeepGEMM：FP8矩阵计算神器！JIT编译+Hopper架构优化，MoE性能飙升
士多啤梨先生の博客
02-26 1037
DeepGEMM 是 DeepSeek 开源的专为 FP8 矩阵乘法设计的高效库，支持普通和混合专家（MoE）分组的 GEMM 操作，基于即时编译技术，动态优化矩阵运算，显著提升计算性能。
DeepSeek 宣布开源 DeepGEMM：核心内核代码仅约 300 行！
优快云资讯
02-27 1432
尽管 DeepGEMM 设计精简，但其性能在多种矩阵形状下仍可与专业级优化库媲美，甚至超越：官方测试表明，DeepGEMM 在 DeepSeek-V3/R1 推理任务中展现了出色的计算效率。DeepGEMM 是一个专为 FP8（8 位浮点数）通用矩阵乘法（GEMM）优化的高效计算库，具有细粒度缩放功能，支持普通和混合专家（MoE）分组的 GEMM。最后还有一个消息，有知情人士透露 DeepSeek 正在加速推出其 R2 人工智能模型，最初计划是在 5 月发布，但目前正在努力尽快推出。（3）完全即时编译；
DeepSeek开源周第三弹！揭秘AI计算新神器DeepGEMM：300行代码如何吊打专家优化？
枫夜
02-27 616
DeepGEMM用极简代码诠释了“大道至简”的优化哲学，虽受限于硬件生态，但其技术思路已为AI计算工具链注入新活力。正如社区开发者所言：“它像一盏路灯，照亮了GPU优化的未来方向。
DeepSeek 开源狂欢周（三）DeepGEMM深度技术解析 | 高效 FP8 矩阵运算库
OpenCSG的博客
02-28 867
在 DeepSeek 开源周 的第三天，DeepSeek 团队为大家带来了一个重磅开源项目——DeepGEMM。作为一款专为 DeepSeek-V3/R1 模型训练和推理设计的高效 FP8 矩阵运算库，DeepGEMM 不仅在性能上表现卓越，还在设计上保持了简洁与高效的平衡，为大规模 AI 模型的计算提供了强大支持。今天，我们将详细解读这一开源项目，探索它背后的技术创新与应用价值。是一个针对进行高度优化的开源库，特别适用于等大规模深度学习模型的训练与推理。随着人工智能模型参数的不断增长，尤其是。
【有啥问啥】DeepSeek开源DeepGEMM：释放FP8矩阵乘法加速的潜力
Chauvin的博客
02-28 1136
Cα∗opAopBβ∗CCα∗opAopBβ∗CAAA和BBB是输入矩阵。CCC是输出矩阵。ααα和βββ是标量系数。opop()op代表可选的矩阵操作，例如转置或共轭转置。表示矩阵乘法。GEMM 广泛应用于各种计算密集型应用，尤其是在深度学习领域，它构成了卷积神经网络（CNN）、循环神经网络（RNN）、Transformer 模型等的核心计算层。因此，GEMM 的效率直接影响着 AI 模型的训练和推理速度。
DeepSeek开源周第三天重磅推出DeepGEMM
llm_way的博客
02-28 952
DeepSeek ()公司在开源周第三天推出的 DeepGEMM，便是这样一颗重磅 “巨石”。作为一款 FP8 通用矩阵乘法（GEMM）库，它正以惊人的力量重塑人工智能训练和推理的方式，在全球 AI 领域掀起了一阵创新浪潮。
DeepSeek 开源周第 6 天：DeepSeek-V3/R1 推理系统深度剖析
llm_way的博客
03-04 956
DeepSeek 作为 AI 创新领域的佼佼者，在 2025 年 2 月 24 日开启了开源周活动，旨在分享其经过实际生产检验、助力通用人工智能（AGI）发展的工具。在开源周的前五天，DeepSeek 陆续推出了如等令人瞩目的工具以及和Thruster。而在第 6 天，DeepSeek 揭开了 DeepSeek-V3/R1 推理系统概述的神秘面纱，这一系统在优化大规模语言模型推理、提高吞吐量、降低延迟等方面展现出了卓越的性能，引起了 AI 领域的广泛关注。
【大模型:知识图谱】--3.py2neo连接图数据库neo4j
我是个好人呀，O(∩_∩)O
06-03 1479
本文介绍了Neo4j图数据库的安装与基本操作。主要内容包括：1) 使用py2neo连接Neo4j数据库；2) 通过Python实现节点创建、删除、属性修改等操作；3) 建立节点间关系的方法；4) 使用NodeMatcher和RelationshipMatcher进行节点和关系查询；5) 通过实例演示如何创建人物节点及其关系网络。文章还对比了Neo4j社区版和企业版的差异。全文提供了完整的代码示例，涵盖从连接到CRUD操作的完整流程。
深度学习之模型压缩三驾马车：基于ResNet18的模型剪枝实战（2）
ak47maker的博客
06-05 539
本文针对ResNet18模型剪枝进行了优化改进，主要包含三个方面：1) 将剪枝目标层从底层conv1调整为中间层layer2.0.conv1，减少对基础特征的破坏；2) 采用基于激活值的前向传播方法评估通道重要性，优先剪除低激活通道；3) 改进微调策略，动态解冻关联层并使用更低学习率(0.0001)进行10轮微调。这些优化有效提升了剪枝后模型的稳定性和性能表现，特别是通过中间层剪枝和基于特征贡献的通道选择策略，避免了底层特征破坏带来的连锁反应。
3步在小米13手机跑DeepSeek R1
羊仔的博客
06-03 1679
大家好！我是羊仔，专注AI工具、智能体、编程。
通过基于流视频预测的可泛化双手操作基础策略
yorkhunter的博客
06-04 2258
25年5月来自中国电信、西北工业大学和香港科大的论文“Towards a Generalizable Bimanual Foundation Policy via Flow-based Video Prediction”。 由于动作空间巨大且需要协调手臂运动，学习可泛化的双手操作策略对于具身智体而言极具挑战性。现有方法依赖于视觉-语言-动作 (VLA) 模型来获取双手操作策略。然而，从单臂数据集或预训练 VLA 模型迁移知识通常无法有效泛化，这主要是由于双手数据的匮乏以及单臂和双手操作之间的根本差异。本文
智能终端与边缘计算
最新发布
wozaiwurenchu的博客
06-05 781
Cloudlet的定义和主要特征Cloudlet（微云）概念于2009年首次出现。它是一种成熟的边缘计算系统，旨在将移动计算的“端-云”两层架构转变为**“端-边-云”的三层架构** [对话历史]。Cloudlet通常部署在网络边缘，靠近接入点、基站或汇聚点，甚至可以直接运行在智能网联汽车或无人机上 [对话历史]。主要特征：可信且资源丰富的主机或机群。基于虚拟机技术，为移动终端提供服务。Cloudlet通过将与具体应用相关的数据部分从通用部分中抽离出来，形成VM Overlay与Base VM。
法律AI的“幻觉”治理：大模型如何重塑司法公正与效率
七刀的专栏
06-04 1106
在传统律师事务所中，一位律师审查一份50页的商业合同平均需要3小时；而在引入法律大模型后，这一时间被缩短至20分钟。效率提升的背后，是一场正在席卷全球法律体系的智能化革命——。
【oobabooga 本地AI模型搭建】
开心就好了啦
06-05 872
用于大型语言模型的 Gradio Web UI。其目标是成为文本生成的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值