《DeepSeek-V3 Technical Report》阅读解析

原创

已于 2025-03-21 15:55:15 修改 · 1k 阅读

22 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #深度学习 #大模型

于 2025-03-16 17:46:01 首次发布

论文原文地址：https://arxiv.org/pdf/2412.19437

本文主要是在DeepSeek-V2的基础上介绍改进点，相同部分不做过多介绍，对于DeepSeek-V2不了解的可以先看看我上一篇对于DeepSeek-V2的解读：《DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model》阅读解析-优快云博客

创新点

（1）与DeepSeek-V2不同，提出auxiliary-loss-free strategy for load balancing，从而最大程度地减少了由于寻找负载平衡而产生的性能下降。

（2）研究了Multi-Token Prediction (MTP)，提升了模型的性能并且加快了模型推理的解码。

（3）克服了跨节点MOE训练中的通信瓶颈

（4）蒸馏来自DeepSeek R1系列的能力

摘要

提出了DeepSeek-V3 ，与V2一样采用MLA以及DeepSeekMoE架构，一个具有671B总参数的巨大模型，每个token都激活37B。提出auxiliary-loss-free strategy for load balancing，从而最大程度地减少了由于寻找负载平衡而产生的性能下降，研究了Multi-Token Prediction (MTP)，提升了模型的性能并且加快了模型推理的解码

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

来杯芊芊马卡龙

关注关注

20
点赞
踩
22

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

DeepSeek-V3 Technical Report

c_cpp_csharp的专栏

01-07

1111

我们提出了DeepSeek-V3，这是一个强大的混合专家（MoE）语言模型，总参数为671B，每个token激活37B。为了实现高效的推理和经济高效的训练，DeepSeek-V3采用了多头潜在注意力（MLA）和DeepSeekMoE架构，这些架构在DeepSeek-V2中得到了充分的验证。此外，DeepSeek-V3开创了一种用于负载平衡的辅助无损失策略，并设定了多token预测训练目标以提高性能。

DeepSeek-V3 技术报告

mingo_敏

12-31

3641

本文介绍了 DeepSeek-V3，一个强大的混合专家（MoE）语言模型，总参数量为 6710 亿，每个 token 激活的参数量为 370 亿。为了实现高效的推理和经济高效的训练，DeepSeek-V3 采用了多头潜在注意力（MLA）和 DeepSeekMoE 架构，这些架构在 DeepSeek-V2 中得到了充分验证。此外，DeepSeek-V3 率先采用了无辅助损失的负载均衡策略，并设定了多 token 预测训练目标，以提升性能。

参与评论您还未登录，请先登录后发表或查看评论

论文阅读：DeepSeek-V3 Technical Report

最新发布

qq_54708219的博客

08-05

1785

我们提出了 DeepSeek-V3，这是一个强大的专家混合模型（Mixture-of-Experts, MoE）语言模型，总参数为 6710 亿（671B），每个 token 激活 370 亿（37B）参数。为实现高效推理和高性价比训练，DeepSeek-V3 采用了多头潜在注意力（Multi-head Latent Attention, MLA）和 DeepSeekMoE 架构，这些架构已在 DeepSeek-V2 中得到充分验证。

万字详解 DeepSeek-V3 Technical Report

kebijuelun的博客

02-10

2972

2024 年中国 deepseek 发表的轰动全球的大模型论文。DeepSeek-V3 是目前开源 LLM 领域的新巅峰，在保持高性能的同时，训练成本远低于 GPT-4o。DeepSeek-V3 在数学、编程、逻辑推理和长文本处理方面表现极其出色，它采用了MoE 架构、长文本优化和高效训练方法。

【AI学习】DeepSeek-V3 技术报告学习：总体架构

bylander的博客

12-28

9507

翻了一下DeepSeek-V3 技术报告学习，太长，只是大概翻了一下，其中Multi-Token Prediction的技术就很亮眼。

DeepSeek系列 ----《DeepSeek-V3 - DeepSeek-V3 Technical Report》论文解析

Chown先森

05-13

368

我们提出了DeepSeek-V3，这是一个强大的混合专家MoE（Mixture-of-Experts）语言模型，具有671B个总参数，以及每个token激活37B参数。为了实现高效的推理和低成本的训练，DeepSeek-V3采用了多头潜在注意力机制MLA（Multi-head Latent Attention）和DeepSeekMoE架构，这两种架构在DeepSeek-V2中得到了充分的验证。此外，

DeepSeek-V3 技术解析：多Token预测（Multi-Token Prediction, MTP）

u013250861的博客

04-27

313

在文献 [2] 中，作者尝试通过 MTP 技术预测未来的 2 个词元（token），并将其与推测解码相结合，结果发现第二个词元预测的接受率约为 85%~90%，这表明其 MTP 策略的生成质量稳定可靠。因此，上述多词元预测的损失函数将首先被分解为多个单词元（token）预测操作头，然后每个单词元（token）预测头会运行独立的 Softmax 来选择对应词元。此外，模型可能会出现模式奔溃（mode collapse），倾向于生成通用的、高频的词汇，而非细致的响应，从而降低输出的多样性和丰富性。

DeepSeek-V3 技术报告（核心技术，接近5万字）

zhangjiaofa的专栏

01-23

1171

我们介绍了一个强大的混合专家（MoE）语言模型DeepSeek-V3，它具有总计671亿个参数和每个令牌激活的37亿个。为了实现高效的推理和成本效益的训练，DeepSeek-V3采用了Multi-head Latent Attention (MLA) 和 DeepSeekMoE 架构，这些架构在DeepSeek-V2中得到了彻底验证。此外，DeepSeek-V3开创了一种无辅助损失的负载平衡策略，并为更强性能设置了多令牌预测训练目标。

【大模型】DeepSeek-V3 Technical Report 关键技术解读

酒酿小圆子呀～

02-16

1890

首先给出Report的摘要部分：我们提出了DeepSeek-V3，这是一个强大的混合专家（MoE）语言模型，模型总参数为671B，每个令牌激活37B。为了实现高效的推理和经济高效的训练，DeepSeek-V3采用了多头潜在注意力（MLA）和DeepSeekMoE架构，这些架构在DeepSeek-V2中得到了充分的验证。此外，DeepSeek-V3开创了一种用于负载平衡的辅助无损耗策略（auxiliary-loss-free strategy for load balancing）

LLM（十二）| DeepSeek-V3 技术报告深度解读——开源模型的巅峰之作

wshzd的博客

12-31

2万+

DeepSeek-V3技术报告完整解读

AIBigModel的博客

01-06

4917

原文：https://zhuanlan.zhihu.com/p/1489055778212月中旬，我浙之光Deepseek宣布完成了v2.5的最后一次升级之后，约过了十来天，v3.0就正式上线了。DeepSeek-V3 是一款性能卓越的语言模型，整体参数规模达到 671B，其中每个 token 激活的参数量为。评估结果表明，DeepSeek-V3，并能够与主流闭源模型相媲美。图1：DeepSeek-V3和竞品的各科目考分对比。

【论文翻译】DeepSeek-V3论文翻译——DeepSeek-V3 Technical Report——第一部分：引言与模型架构

qq_58718853的博客

02-07

4308

Deepseek技术报告翻译第一部分：模型架构

DeepSeek-V3技术报告（全文）

qq_32907491的博客

01-29

1778

DeepSeek-V3 是一款性能卓越的语言模型，整体参数规模达到，其中每个 token 激活的参数量为。评估结果表明，DeepSeek-V3，并能够与主流闭源模型相媲美。图1：DeepSeek-V3和竞品的各科目考分对比。

Deepseek v3 实测来了！智商牛逼，情商不存在，自信退出价格战

强化学习曾小健

12-28

6964

在过去一段时间里，大语言模型的社区对于算力的追逐往往陷入一种“集群越大、训练耗时越短、模型越强”的思维模式。最近 OpenAI 被爆料在训练 GPT-5 是遇到资源和数据的限制而导致迟迟做不出来...而 DeepSeek-V3，则成功通过深度优化的模型架构、训练策略、数据筛选和工程流程，同样能换来大幅度的性能增长和成本压缩——甚至让那些盲目投入十万卡、数千万 GPU 小时的项目看上去有些“浪费”......从 Deepseek v3 来看，决定性胜负手不再只是显卡数量。

MLA——一文通透DeepSeek V2中的多头潜在注意力MLA：改进MHA，从而压缩KV缓存，提高推理速度(含让任何LLM都能用上MLA的方法)

热门推荐

结构之法算法之道

08-26

4万+

成就本文有以下三个因素校长最近开始搞deepseek了吗？刚看了论文，没搞懂MLA那块的cache是怎么算的，我总觉得他的效果应该类似MQA才对，但是反馈是挺好的目前团队项目上的事情太多，然后近期在写那个KAN确实还没来得及看这个deepseek，我近期看下而搞之前——近几天，会先写一下它的论文解读，故本文就来了且一如既往做到，对于几乎每一个主题，都做到本博客万千读者或七月学员所说的：“还是看校长的文章好理解”，如有任何问题或任何不懂的地方，可以随时留言/评论，我会找时间尽快回复。

【DeepSeek论文精读】5. DeepSeek-V3 技术报告

youcans的博客

02-09

1万+

DeepSeek-V3是一款强大的混合专家（MoE）语言模型，总参数量为6710亿，在性能上超越了其他开源模型，并达到了与领先闭源模型相当的水平。 DeepSeek-V3不仅采用多头潜在注意力MLA和深度探索MoE架构，还开创了无辅助损失的负载均衡策略。

deepseek-v3 technical report

01-28

### DeepSeek-V3技术报告概述 DeepSeek-V3 是一款旨在提升推理效率和降低成本的新一代人工智能模型。此版本引入了多种创新机制和技术改进，显著增强了模型的能力。 #### 基本架构 DeepSeek-V3 的基本架构采用了多头潜在证明（MLA），这一设计使得模型能够在保持高性能的同时实现高效的推理过程[^3]。此外，为了优化训练资源利用率，DeepSeek-V3 还集成了名为 DeepSeekMoE 的混合专家系统，有效降低了计算开销并提高了经济效益。 #### 多Token预测(MTP)训练目标除了基础结构上的革新外，DeepSeek-V3 提出了一个新的训练目标——多Token预测 (MTP)，即 Multi-Token Prediction。研究表明，这种新的训练方法能够全面提升模型在各类评估基准测试中的表现水平。 #### 推理能力拓展针对深度推理的需求，DeepSeek-V3 努力探索如何通过增加推理链路的长度与复杂度来强化模型的理解能力和解决问题的实力。具体措施包括但不限于扩大上下文窗口大小以及深化网络层数量等方面的工作[^4]。 #### 部署考量值得注意的是，在享受 DeepSeek-V3 所带来的性能优势之时也需要关注其实际应用过程中可能遇到的一些挑战。例如，由于推荐使用的最小化部署单元规模较大，这或许会对某些小型开发团队构成一定压力；不过好消息是未来硬件的进步预计会逐渐缓解此类问题所带来的影响[^2]。 ```python # Python 示例代码展示如何加载预训练好的 DeepSeek-V3 模型 from deepseek_v3 import load_model model = load_model('path/to/pretrained/model') ```