DeepSeek强在哪里

最新推荐文章于 2025-12-08 16:38:51 发布

转载最新推荐文章于 2025-12-08 16:38:51 发布 · 100 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://blog.youkuaiyun.com/2301_76884007/article/details/148286918

文章标签：

#ai #人工智能

AI学院专栏收录该内容

1 篇文章

订阅专栏

DeepSeek发展历程

DeepSeek强在哪？

DeepSeek为什么这么强？

1. 混合专家模型（MoE）：分工协作的“装修队长”

2. 多头潜在注意力（MLA）：信息压缩的“杂志主编”

3. 强化学习驱动的推理优化：“自学成才的解题高手”

4. FP8混合精度训练：精打细算的“物流专家”

DeepSeek下一步规划

“ 一文说清楚DeepSeek强在哪？为什么强？下阶段发展方向？”

—

DeepSeek发展历程

DeepSeek是由DeepSeek公司推出的人工智能大模型产品，该公司是由量化投资机构幻方量化孵化而来。（不要炒gu，你还在研究K线，机构已经研究出了核武器）

DeepSeek的发展经历了三个时期：

2023年，开源探索；

2024年，架构创新；

2025年，生态爆发；

早期的deepseek还是基于开源Transformer的架构，处在追赶业内先进水平的阶段；

直到2024年，deepseek在架构上有了创新，在性能上有巨大突破，这时候才跻身行业头部，有了与chatgpt扳扳手腕的资本；

2025年1月，在春节前的几天，deepseek-R1横空出世，在多项测评指标上超越chatgpt，成为打破技术垄断的国之重器；从此人工智能时代，中国也可以引领世界；

deepseek造出的影响力有多大内，可以通过如下数据感受一下。

—

DeepSeek强在哪？

我们看的最多的是如下这两张图，但这两张图说明什么呢，你可能没有深究过每项指标代表什么。

deepseek-V3基准测试

deepseek-R1基准测试

先看下这些指标的含义：

MMLU - Pro (EM)
- 含义
  ：MMLU 即大规模多任务语言理解基准，Pro 表示专业版，EM 是 Exact Match（精确匹配）的缩写。在该任务中，模型输出与标准答案完全一致才被视为正确。
- 作用
  ：衡量模型在多领域知识问答任务上的能力，反映其知识储备的广度和准确性。
GPQA - Diamond (Pass@1)
- 含义
  ：GPQA 可能是特定的生成式问题回答任务，Diamond 是其中一个版本，Pass@1 指模型在一次尝试中就给出正确答案的比例。
- 作用
  ：评估模型在生成式问答任务中的表现，体现其一次性回答正确问题的能力。
MATH 500 (EM)
- 含义
  ：针对数学问题的 MATH 500 数据集，采用精确匹配（EM）评估，即模型答案与正确答案完全一致才算正确。
- 作用
  ：衡量模型在数学问题解决方面的能力，包括数学推理、计算等。
AIME 2024 (Pass@1)
- 含义
  ：AIME 是美国数学邀请赛，2024 代表该年份的试题，Pass@1 表示模型一次尝试答对问题的比例。
- 作用
  ：考察模型在较高难度数学竞赛类问题上的解题能力。
Codeforces (Percentile)
- 含义
  ：Codeforces 是知名的编程竞赛平台，这里以百分位数（Percentile）衡量，即模型性能超过了百分之多少的其他对比模型。
- 作用
  ：评估模型在算法类代码生成等编程任务中的表现。
SWE - bench Verified (Resolved)
- 含义
  ：SWE - bench 可能是软件工程相关的评估基准，Verified 表示经过验证，Resolved 指解决问题的比例。
- 作用
  ：衡量模型在软件工程相关任务中解决问题的能力。

从基础测试数据上我们可以得出的结论如下：

另外配合两个特点：

如果我们用一句话总结：

强的方面更强，弱的方面不弱；

再加上他的训练成本极低（chatgpt 1亿美金，deepseek 500万美金），所以他有无可匹敌的优势；

—

DeepSeek为什么这么强？

DeepSeek的强大来源于他在架构上的创新，以及在性能方面的多种优化措施。相比于其他模型，它的创新点很多很多，但真正造就deepseek的强大的Top4特性如下：

为了把这几个特性说清楚，这里用类比的方式来说明；

1. 混合专家模型（MoE）：分工协作的“装修队长”

原理：
DeepSeek的MoE架构将模型拆分成多个“专家网络”，每个专家专精特定任务（如数学推理、代码生成）。每个输入信息（Token）会被动态分配给最相关的少数专家处理，而非所有参数同时参与计算。例如，总参数6710亿的DeepSeek-V3，每次推理仅激活5.5%的参数（约370亿），大幅降低资源使用；
打个比方：
想象你请了一个装修队长，他手下有水电工、木工、设计师等专家。当你需要装一个复古吊灯时，队长会判断“这任务80%是电工的活，20%需要设计师”，然后只派这两人干活，其他人休息。这样既高效又省钱，避免了“全能师傅”每次从头到尾忙活的低效。

2. 多头潜在注意力（MLA）：信息压缩的“杂志主编”

原理：
传统模型处理长文本时需存储所有中间信息（KV缓存），导致显存爆炸。MLA通过低秩矩阵压缩键值（Key-Value）数据，将显存占用降至原来的5%-13%，同时保持语义连贯性。例如，128K上下文窗口下，MLA可高效处理整本《红楼梦》级别的长文本。
打个比方：
假设你是一家杂志的主编，每期要处理海量稿件。传统做法是让所有编辑同时审阅整本书，效率低下。MLA则像主编先提炼出“科幻”“财经”等主题标签，再根据当前栏目只调派相关领域的编辑，其他人无需参与。既省时省力，又能精准完成任务。

3. 强化学习驱动的推理优化：“自学成才的解题高手”

原理：
DeepSeek-R1模型通过纯强化学习（RL）自主提升推理能力，无需依赖人工标注的解题步骤。模型根据答案正确性自动调整策略，通过“试错”形成多步逻辑链。例如，在数学竞赛AIME中，R1的解题准确率从15.6%跃升至79.8%，接近人类顶尖水平。
打个比方：
这像一个学生通过不断刷题自学数学：没人教他公式推导，但每次做完题后系统会告诉他“对”或“错”。他通过反复练习，逐渐总结出解题规律，甚至能发现老师没教过的巧妙方法。最终，他不仅会做题，还能清晰写出思考过程。

4. FP8混合精度训练：精打细算的“物流专家”

原理：
FP8（8位浮点数）是一种数值格式，将传统训练中使用的32位或16位数据压缩到8位，大幅减少计算和存储资源。但单纯压缩会导致精度损失（比如数字细节丢失），因此DeepSeek-V3采用混合精度策略：

关键环节保留高精度：模型权重更新等敏感步骤用FP16/FP32保证稳定性；
常规计算用FP8加速：前向传播和反向传播等大量计算环节用FP8压缩数据，显存占用减少60%，计算速度提升2倍。

打个比方：
假设你要用卡车运输一批易碎瓷器：

传统方法（FP32）：每件瓷器单独用大箱子包装，安全但浪费空间，卡车跑一趟只能运少量货。
FP8混合精度：瓷器按脆弱程度分类，普通瓷器改用轻便小盒（FP8），珍贵瓷器仍用加固箱（FP16）。同时，司机（训练算法）动态调整包装策略，确保运输又快又安全。最终，卡车一趟能多运3倍货物，成本降低一半，且几乎没有破损。

—