简单聊聊Deepseek V3的FP8训练

最新推荐文章于 2025-06-18 00:02:07 发布
原创 最新推荐文章于 2025-06-18 00:02:07 发布 · 3.7k 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #算法

简单聊聊Deepseek V3的FP8训练

作者企鹅火烈鸟🦩

作者：企鹅火烈鸟🦩

全文约 2400 字，预计阅读时间 6 分钟

引子

Deepseek V3的报告在网上放出之后，在知乎也看了很多训练分析和推理的文章。前段时间也转发了一位大佬的pp分析和通信文章，正好赶上前两天没空。29号凌晨才把文章看完，顺着这股劲儿写一些Deepseek V3里fp8训练。若有错误请大家指正，也希望和大佬们一起讨论。

FP8量化是一种新兴的低精度数值表示方法，通过将FP16或FP32降低到8位浮点数，可以显著减少模型的内存占用(相比FP32降低75%)和计算开销，同时提升推理速度和能效比。它提供E4M3和E5M2两种格式以平衡精度和范围，在保证模型性能的前提下，尤其适合大规模AI模型的训练和部署加速。不过要充分发挥FP8的优势，需要特定硬件支持，如NVIDIA Hopper架构GPU。

整体一览

从Deepseek V3的技术报告里写到，它在Embedding、Attention、gating（MoE路由）、Norm上是用的原始精度（BF16 or FP32，某些gating操作会上FP32吧）。也就是说会做FP8的位置基本就在MoE上的MLP和Attention前后的MLP。

图片

技术报告里讲到，会对FP8训练进行量化。这也是常规操作了，NV的一次OpenDay也讲了关于FP8训练时的量化。

NVIDIA英伟达 - FP8 训练的挑战及最佳实践：https://www.bilibili.com/video/BV1tM4m117eL/

最低0.47元/天 解锁文章
DeepSeek-V3 是怎么训练的｜深度拆解
强化学习曾小健
01-17 4056
梯度裁剪的范数设置为 1.0。在 MLA 结构中，注意力头的数量 (nh) 设置为 128，每个注意力头的维度 (dh) 为 128，KV 压缩维度 (dc) 为 512，Query 压缩维度 (d') 为 1536，解耦的 Key 头的维度 (dr) 为 64。为了实现 MoE 架构中的负载均衡，DeepSeek-V3 采用了无额外损耗的负载均衡策略，并将偏置项的更新速度 (γ) 在预训练的前 14.3T 个 Token 中设置为 0.001，在剩余的 500B 个 Token 中设置为 0.0。
DeepSeek V3 训练策略：FP8混合精度与多Token预测
WeLearnNLP
05-01 570
近年来，大规模语言模型取得重大突破，但其训练与部署成本也随之攀升。DeepSeek 系列开源模型致力于通过优化模型结构和训练策略来降低成本、提升性能。DeepSeek V3 融合了多种先进技术（如 FP8 低精度训练、DualPipe 双流水线机制、多Token 预测目标等），在保证模型能力的同时大幅提高了效率。本文将分五部分详细介绍 DeepSeek V3 在高效训练框架、双流水线并行、多Token 预测、多项部署优化策略及效果与影响方面的技术实现与创新。
FP8 vs INT8量化实战：DeepSeek模型参数存储优化的企业级策略
m0_60674045的博客
02-18 3511
DeepSeek采用混合专家模型（MoE），总参数量庞大（如DeepSeek-V3达6710亿参数），但每个Token仅激活约5.5%的参数（如370亿参数）。这种稀疏性要求存储系统高效管理参数的动态加载与释放，而低精度格式（如FP8/INT8）可显著减少存储冗余。MLA通过低秩键值联合压缩技术（如K/V维度压缩至1024和3072），减少KV缓存至同级别Dense模型的1/5-1/100。此时，低精度存储（如FP8）可进一步压缩缓存占用，提升推理吞吐量。
[论文品鉴] DeepSeek V3 最新论文 之 FP8混合精度训练
邮箱 rex.guan@outlook.com
05-28 1151
继续介绍DeepSeek最近发布的关于V3的论文，且依然会结合年初的论文一起，同时也参考了17年混合精度训练的经典论文。
DeepSeek-V3 FP8量化浅析
m0_59235945的博客
01-30 2515
第一个PR[1] 实现了 CUTLASS F8 GEMM 的分块缩放（
从infra的视角聊聊DeepSeek-V3
强化学习曾小健
01-04 1046
这是因为，MoE节省flops的好处主要体现在计算密集的prefill阶段，而在访存密集的decode阶段，MoE巨大的参数量然而会带来更加昂贵的数据搬移开销。根据技术报告里的数据，得益于更加稀疏的MoE设计，以及系统上的一系列优化，训练V3每trillion数据的GPU小时数仅仅为180K（而V2对应的GPU小时数为172.8K），可谓是将V2技术报告标题中的Economical（性价比）贯彻到底。上，DeepSeek-V3使用64路的专家并行，16路的流水线并行，以及数据并行（ZeRO1）。
简单聊聊“DeepSeek”
久绊A的博客
01-28 3080
DeepSeek（深度求索）是一家由量化私募巨头幻方量化旗下的AI公司，成立于2023年5月，专注于人工智能技术研发，致力于打造高性能、低成本的AI模型。
DeepSeek-V3：让AI学会“团队协作”的混合专家模型
yaosichengalpha的博客
02-23 660
DeepSeek-V3：让AI学会“团队协作”的混合专家模型
大模型系列：DeepSeek大模型与应用场景介绍
IT技术分享社区
03-10 1877
在训练方法上，它结合了预训练和监督微调（SFT），并采用了混合精度 FP8 训练，这不仅降低了算力需求，还在保证模型计算精度的前提下，大幅度减少了内存使用和计算成本。让我们共同期待 DeepSeek 在未来能够创造更多的奇迹，为我们带来更多的惊喜和便利，也希望更多的人能够关注和了解 DeepSeek，一起探索人工智能的无限可能。在创意写作领域，它同样表现出色。比如，在学习物理时，对于 “量子纠缠” 这样抽象的概念，DeepSeek Chat 可以通过生动的比喻和详细的解释，让学生轻松理解其中的奥秘。
必看！一文解析DeepSeek-V3 FP8量化方案
m0_56255097的博客
02-12 3344
在大规模语言模型的高效部署中，模型压缩技术至关重要。DeepSeek-V3 采用的 FP8 量化方案，通过创新的量化策略和高效的计算流程，在显著降低模型存储需求和计算资源占用的同时，保持了较高的精度。本文将深入剖析 DeepSeek-V3 的 FP8 量化技术，探讨其量化策略、计算公式、工程实现以及性能优化的关键细节，为读者揭示这一前沿技术的奥秘。
DeepSeek训练数据与算法深度解析：数据预处理、模型训练等细节
加入“Super Entity”，与全能开发团队共探AI智能体与数字人项目，开启前沿技术之旅。
02-22 4067
DeepSeek是一款高性能的大型语言模型，采用混合专家（MoE）架构和多头潜在注意力（MLA）机制，具备强大的自然语言处理和多模态交互能力。其训练过程包括基础模型训练、强化学习（RL）训练和微调，能够吸收不同阶段的知识和能力。DeepSeek通过高质量的训练数据和高效的预处理方法，结合先进的训练算法，实现了强大的语言理解和生成能力。其多阶段训练方法和优化策略使其在多种任务中表现出色。未来，随着技术的进一步发展，DeepSeek有望在更多领域发挥重要作用。
fp8部署deepseek
weixin_40941102的博客
02-10 3910
FP8部署DeepSeek是一种高效、低成本的模型部署方式，适用于大规模AI模型的训练和推理。通过硬件适配、权重转换和推理框架优化，开发者可以在NVIDIA、AMD、华为昇腾等平台上实现FP8模型的快速部署。未来，随着硬件技术的进步和国产算力的崛起，FP8部署将成为AI模型部署的重要方向。
DeepSeek 基本概念，了解 FP8 和混合精度训练
iCloudEnd的博客
03-15 412
FP8 或 8 位浮点表示是一种紧凑的数字格式，旨在平衡深度学习工作负载中的精度和范围。与更常见的 FP32（32 位浮点）或 FP16（16 位浮点）不同，FP8 仅使用 8 位来表示数字，因此内存效率极高。但是，这种位数的减少是有代价的：与高位浮点相比，FP8 的精度较低，范围较窄。为了解决这个问题，FP8 有两种版本，每种版本都针对不同的需求量身定制E4M3：结构：1个符号位，4个指数位，3个尾数位。范围：可以存储从 -448 到 +448 的值，加上 NaN（非数字）。
DeepSeek-V3混合精度推理（FP8/BF16）原理与实战全解析
加入“Super Entity”，与全能开发团队共探AI智能体与数字人项目，开启前沿技术之旅。
06-18 1543
本文系统梳理DeepSeek-V3在FP8/BF16混合精度推理方面的架构设计与工程实现，结合源码与实际案例，帮助开发者深入理解其混合精度推理原理、工程落地方法与性能优化技巧。文中配有架构图、流程图、思维导图、甘特图、饼图等多种可视化图表，并提供详细的Python代码示例与最佳实践建议。FP8：8位浮点，极致节省显存，适合大规模矩阵运算BF16：16位浮点，兼顾精度与性能，主流AI芯片广泛支持DeepSeek-V3通过FP8/BF16混合精度推理，极大提升了大模型推理的性能与资源利用率。
Deepseek技术浅析（三）：训练方法
m0_75253143的博客
02-05 2676
Deepseek 是一个先进的深度学习平台，其训练方法涵盖了多种前沿技术，包括 分布式训练、混合精度训练、强化学习与多词元预测、持续学习与微调 以及 人类反馈的强化学习（RLHF）。分布式训练通过将计算任务分配到多个设备（如 GPU、TPU）或多个节点上，加速模型训练。数据并行是最常见的分布式训练方法，将数据分片分配到多个设备上，每个设备计算梯度并同步更新模型参数。数据并行的梯度更新公式为：其中： 是模型参数。 是学习率。数据分片：将训练数据分片分配到多个设备上。梯度计算：每个设备计算本地梯度。梯度同步：通
DeepSeek实现低成本训练，原来是靠它！
2401_84204413的博客
01-31 1911
DeepSeek推出的最新推理模型，以500万美元的训练成本，比肩数亿美元成本的OpenAI o1，离不开各种优化策略，除了之前提到的“知识蒸馏”以外，还包括今天的主角MoE。在机器学习和深度学习领域，模型的设计和优化一直是研究的核心。近年来，一种名为Mixture of Experts (MoE) 的模型架构逐渐引起了广泛关注。MoE模型通过结合多个“专家”模型的优势，能够在处理复杂任务时表现出色。本文将详细介绍MoE模型的基本概念、工作原理、优势以及应用场景。1。
DeepSeeK-V3中核心技术详解：什么是FP8？什么是MLA？什么是MOE？
猫头虎：授渔优于赠鱼，兴趣引领智慧，探索之乐尤显珍贵。商务合作+：Libin9iOak ，万粉变现+：优快云WF，猫头虎承诺每年免费为100名C站创作者做账号流量诊断服务！
12-30 4373
### DeepSeeK-V3中核心技术详解：什么是FP8？什么是MLA？什么是MOE？ > **关键词**：FP8、MLA、MOE、DeepSeeK-V3、核心技术 > **亮点**：细致拆解，直击技术本质，助你快速掌握核心概念！ --- #### 🚀 **前言** AI领域的创新从未停止，每一代新技术都在突破硬件极限和算法瓶颈。在DeepSeeK-V3中，有三大核心技术尤为引人注目：**FP8**、**MLA** 和 **MOE**。这些技术不仅提升了模型性能，还在推理效率、能耗优化上展
采用FP8混合精度，DeepSeek V3训练成本仅557.6万美元！
2401_83179994的博客
01-13 1071
的成功也将激励更多的研究者和工程师探索新的技术和方法。的出现不仅改变了大模型的训练成本格局，也为未来AI技术的发展带来了新的机遇和挑战。随着技术的不断突破和创新，我们有理由相信，AI将在更多领域发挥重要作用，为人类社会的发展做出更大的贡献。随着硬件性能的提升和算法的优化，未来的大型语言模型训练成本有望进一步降低，使得更多的企业和研究机构能够参与到大模型的研发中，从而推动AI技术的广泛应用和创新发展。的成功不仅展示了在数据和算法方面还有很大的优化空间，也为未来大模型的训练指明了方向。更多精彩内容请关注“
DeepSeek-V3-FP8
最新发布
08-07
DeepSeek V3 FP8 是 DeepSeek 系列模型中的一种优化版本，主要针对计算效率和内存使用进行了增强。FP8（Floating Point 8）是一种低精度浮点数格式，能够在保证模型推理质量的同时，显著降低模型的计算资源消耗和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值