DeepSeek开源专为FP8设计的DeepGEMM，核心内核代码仅300行！

最新推荐文章于 2025-06-09 23:54:15 发布
最新推荐文章于 2025-06-09 23:54:15 发布
阅读量663 收藏 5
点赞数 5
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/coderroad/article/details/145908285
版权

DeepGEMM 是一个支持密集和混合专家（MoE）GEMM的FP8 GEMM库 ，专为DeepSeek-V3/R1模型的训练与推理提供简洁高效的底层支持。它采用CUDA编写，通过轻量级的即时编译（JIT）模块，在运行时编译所有内核，安装过程无需预先编译，为开发者提供了极大的便利。

Stars 数3933
Forks 数304

主要特点

  • 惊人的计算速度：在英伟达Hopper GPU架构上，DeepGEMM最高可达到1350+ FP8 TFLOPS（每秒万亿次浮点运算）的惊人速度，使得大模型在矩阵计算这一核心操作上能够飞速运行，大大缩短训练和推理时间。

  • 极致的简洁性：其核心逻辑仅约300行代码，却在大多数矩阵尺寸上均优于专家调优的内核。没有过多复杂的依赖，就像一本简洁易懂的教程，降低了开发者学习和使用的门槛，即使是初学者也能快速上手，理解其矩阵乘法的优化逻辑。

  • 灵活的布局支持：不仅支持密集布局，还能处理两种MoE布局，这使得它能够适应不同类型的大模型架构，无论是传统的密集模型，还是新兴的混合专家模型，DeepGEMM都能发挥其强大的计算优势。

使用要求

  • Hopper 架构 GPU，sm_90a必须支持

  • Python 3.8 或更高版本

  • CUDA 12.3 或更高版本（官方建议强烈建议使用 12.8 或更高版本）

  • PyTorch 2.1 或更高版本

  • CUTLASS 3.6 或更高版本（可以通过 Git 子模块克隆） 

GitHub：https://github.com/deepseek-ai/DeepGEMM 

仅仅300行代码！DeepSeek开源核弹级算力引擎DeepGEMM
飞乐鸟的博客
02-26 220
仅仅300行代码！DeepSeek开源核弹级算力引擎DeepGEMM
DeepSeek 开源周第三天：探索 DeepGEMM
iCloudEnd的博客
02-26 140
DeepSeek 在开源周第三天发布了 DeepGEMM，这不仅仅是一个技术里程碑，更是迈向更具协作性、更高效、更强大的 AI 未来的一步。无论您是开发人员、研究人员还是技术爱好者，DeepGEMM 都可以提供工具来优化 MoE 模型的矩阵运算，这要归功于其 FP8 性能、JIT 编译和开源特性。
DeepSeek开源DeepGEMM：高效 FP8 GEMM 核心与优化技术
人工智能讲师分享前沿技术
02-26 849
DeepSeek开源第三弹：DeepGEMM。是一个专为 NVIDIA Hopper 架构设计的高效 FP8 GEMM（通用矩阵乘法）库，支持密集（dense）和混合专家（MoE）分组矩阵乘法运算。
GPU效率暴涨！DeepSeek开源DeepGEMM，仅300行代码
RPA中国
02-26 454
例如，一个传统的 FP32 数字占用 4 个字节，而FP8 只占用 1 个字节，这意味着在相同的内存容量下，我们可以存储更多的数据，从而加速大规模深度学习模型的训练和推理，尤其适合硬件资源有限的情况。例如，假设我们有两个矩阵A和B，矩阵A的大小是 3×2，矩阵B的大小是 2×4，那么通过GEMM 计算后，我们可以得到一个大小为 3×4 的矩阵 C，即C=A × B。此外，DeepGEMM 支持非 2 的幂次方的块大小，以提高 GPU 的利用率，并通过修改编译后的二进制指令优化细粒度缩放的性能。
刚刚！DeepSeek开源DeepGEMM，V3/R1训练推理的关键，核心代码仅300行！
Datawhale
02-26 319
Datawhale分享开源周：Day 03，编辑：Datawhale信息来源｜X、机器之心、新智元上周五，DeepSeek 发推说本周将是开源周（OpenSourceWeek），并将连续开源五个软件库。第一天，他们开源了一款用于 Hopper GPU 的高效型 MLA 解码核：FlashMLA。第二天，他们开源了首个专为 MoE（专家混合）模型训练和推理打造的开源 EP 通信库：DeepEP。...
DeepSeek 开源周第三弹！DeepGEMM：FP8矩阵计算神器！JIT编译+Hopper架构优化，MoE性能飙升
士多啤梨先生の博客
02-26 1040
DeepGEMM 是 DeepSeek 开源的专为 FP8 矩阵乘法设计的高效库，支持普通和混合专家（MoE）分组的 GEMM 操作，基于即时编译技术，动态优化矩阵运算，显著提升计算性能。
DeepSeek 宣布开源 DeepGEMM：核心内核代码仅约 300 行！
优快云资讯
02-27 1432
尽管 DeepGEMM 设计精简，但其性能在多种矩阵形状下仍可与专业级优化库媲美，甚至超越：官方测试表明，DeepGEMM 在 DeepSeek-V3/R1 推理任务中展现了出色的计算效率。DeepGEMM 是一个专为 FP8（8 位浮点数）通用矩阵乘法（GEMM）优化的高效计算库，具有细粒度缩放功能，支持普通和混合专家（MoE）分组的 GEMM。最后还有一个消息，有知情人士透露 DeepSeek 正在加速推出其 R2 人工智能模型，最初计划是在 5 月发布，但目前正在努力尽快推出。（3）完全即时编译；
DeepSeek开源周第三弹！揭秘AI计算新神器DeepGEMM：300行代码如何吊打专家优化？
枫夜
02-27 616
DeepGEMM用极简代码诠释了“大道至简”的优化哲学，虽受限于硬件生态，但其技术思路已为AI计算工具链注入新活力。正如社区开发者所言：“它像一盏路灯，照亮了GPU优化的未来方向。
DeepSeek 开源狂欢周（三）DeepGEMM深度技术解析 | 高效 FP8 矩阵运算库
OpenCSG的博客
02-28 869
在 DeepSeek 开源周 的第三天，DeepSeek 团队为大家带来了一个重磅开源项目——DeepGEMM。作为一款专为 DeepSeek-V3/R1 模型训练和推理设计的高效 FP8 矩阵运算库，DeepGEMM 不仅在性能上表现卓越，还在设计上保持了简洁与高效的平衡，为大规模 AI 模型的计算提供了强大支持。今天，我们将详细解读这一开源项目，探索它背后的技术创新与应用价值。是一个针对进行高度优化的开源库，特别适用于等大规模深度学习模型的训练与推理。随着人工智能模型参数的不断增长，尤其是。
【有啥问啥】DeepSeek开源DeepGEMM：释放FP8矩阵乘法加速的潜力
Chauvin的博客
02-28 1136
Cα∗opAopBβ∗CCα∗opAopBβ∗CAAA和BBB是输入矩阵。CCC是输出矩阵。ααα和βββ是标量系数。opop()op代表可选的矩阵操作，例如转置或共轭转置。表示矩阵乘法。GEMM 广泛应用于各种计算密集型应用，尤其是在深度学习领域，它构成了卷积神经网络（CNN）、循环神经网络（RNN）、Transformer 模型等的核心计算层。因此，GEMM 的效率直接影响着 AI 模型的训练和推理速度。
DeepSeek开源周第三天重磅推出DeepGEMM
llm_way的博客
02-28 952
DeepSeek ()公司在开源周第三天推出的 DeepGEMM，便是这样一颗重磅 “巨石”。作为一款 FP8 通用矩阵乘法（GEMM）库，它正以惊人的力量重塑人工智能训练和推理的方式，在全球 AI 领域掀起了一阵创新浪潮。
DeepSeek 开源周第 6 天：DeepSeek-V3/R1 推理系统深度剖析
llm_way的博客
03-04 956
DeepSeek 作为 AI 创新领域的佼佼者，在 2025 年 2 月 24 日开启了开源周活动，旨在分享其经过实际生产检验、助力通用人工智能（AGI）发展的工具。在开源周的前五天，DeepSeek 陆续推出了如等令人瞩目的工具以及和Thruster。而在第 6 天，DeepSeek 揭开了 DeepSeek-V3/R1 推理系统概述的神秘面纱，这一系统在优化大规模语言模型推理、提高吞吐量、降低延迟等方面展现出了卓越的性能，引起了 AI 领域的广泛关注。
深度学习之模型压缩三驾马车：基于ResNet18的模型剪枝实战（2）
ak47maker的博客
06-05 624
本文针对ResNet18模型剪枝进行了优化改进，主要包含三个方面：1) 将剪枝目标层从底层conv1调整为中间层layer2.0.conv1，减少对基础特征的破坏；2) 采用基于激活值的前向传播方法评估通道重要性，优先剪除低激活通道；3) 改进微调策略，动态解冻关联层并使用更低学习率(0.0001)进行10轮微调。这些优化有效提升了剪枝后模型的稳定性和性能表现，特别是通过中间层剪枝和基于特征贡献的通道选择策略，避免了底层特征破坏带来的连锁反应。
yolo模型精度提升策略
最新发布
qq_47798402的博客
06-09 283
结合起来，才能最大程度地提升那6种相似BGA的区分能力，从而显著提高整体mAP。持续进行基于难例分析的主动学习是突破瓶颈的可持续方法。使用自适应优化器、学习率热身与余弦退火，进行充分长周期的训练（配合早停）。持续收集模型在相似BGA上的错误样本，优先标注并加入训练集进行迭代。设计模拟BGA实际成像挑战（反光、模糊、视角变化）的增强方案。尝试引入注意力机制，将分类损失替换为。训练数据（2倍以上是合理起点）。（Focal Loss）以及。显著增加6种相似BGA的。（特别是注意力机制）、
【python深度学习】Day 45 Tensorboard使用介绍
2203_75479908的博客
06-05 660
之前在神经网络训练中，为了帮助自己理解，借用了很多的组件，比如训练进度条、可视化的loss下降曲线、权重分布图，运行结束后还可以查看单张图的推理效果。tensorboard这个库，集成了以上所有可视化工具。
智能终端与边缘计算
wozaiwurenchu的博客
06-05 859
Cloudlet的定义和主要特征Cloudlet（微云）概念于2009年首次出现。它是一种成熟的边缘计算系统，旨在将移动计算的“端-云”两层架构转变为**“端-边-云”的三层架构** [对话历史]。Cloudlet通常部署在网络边缘，靠近接入点、基站或汇聚点，甚至可以直接运行在智能网联汽车或无人机上 [对话历史]。主要特征：可信且资源丰富的主机或机群。基于虚拟机技术，为移动终端提供服务。Cloudlet通过将与具体应用相关的数据部分从通用部分中抽离出来，形成VM Overlay与Base VM。
法律AI的“幻觉”治理：大模型如何重塑司法公正与效率
七刀的专栏
06-04 1167
在传统律师事务所中，一位律师审查一份50页的商业合同平均需要3小时；而在引入法律大模型后，这一时间被缩短至20分钟。效率提升的背后，是一场正在席卷全球法律体系的智能化革命——。
Langchain4j 文档处理（7）
m0_58617940的博客
06-05 1124
来自 langchain4j 模块的文件系统文档加载器（FileSystemDocumentLoader）来自 langchain4j 模块的类路径文档加载器（ClassPathDocumentLoader）来自 langchain4j 模块的网址文档加载器（UrlDocumentLoader）来自 langchain4j-document-loader-amazon-s3 模块的亚马逊 S3 文档加载器（AmazonS3DocumentLoader）
【oobabooga 本地AI模型搭建】
开心就好了啦
06-05 939
用于大型语言模型的 Gradio Web UI。其目标是成为文本生成的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值