DeepSeek-V3技术报告（内含训练概览图）

在 AI 技术飞速发展，开源闭源百花齐放。虽然闭源模型一直处于领先的位置，但是开源模型社区一直是推动技术普及与创新的关键力量。2025 年初期，DeepSeek 团队发布的 DeepSeek-V3 以卓越的性能和创新的技术，站立在普通用户的面前。而对于我这样的普通人的角度来看，通用人工智能（AGI）的大门前所未有的清晰。

一、技术核心：创新架构与高效训练

1. 架构突破 ：DeepSeek-V3 采用 6710 亿总参数、370 亿激活参数的混合专家（MoE）架构，融合多层感知器注意力（MLA）和 DeepSeekMoE 系统。其首创的无辅助损失负载均衡策略，摆脱传统 MoE 模型对辅助损失的依赖，通过动态路由优化专家利用率，在维持庞大参数规模的同时，有效降低推理成本。

2. 训练效率提升 ：借助 FP8 训练技术，DeepSeek-V3 将训练成本锐减至 278.8 万 H800 GPU 小时，仅相当于同类模型的三分之一。此外，多词元预测（MTP）技术与推测解码框架结合，预测下一两个词元，使解码速度提升 1.8 倍，实现每秒处理词元数（TPS）的突破性优化。

3. 知识蒸馏强化 ：从 DeepSeek-R1 到 V3，知识蒸馏发挥关键作用。在 MATH-500 基准测试中，V3 精确匹配率达 90.2%，超越第二名 10 个百分点；在 LiveCodeBench-CoT 中，一次通过率提升至 40.5%，展现长思维链（Long-CoT）蒸馏对数学推理和代码生成任务能力提升的有效性。

二、性能卓越：跨领域全面领先

1. 英语任务表现 ：在 MMLU 基准测试中，DeepSeek-V3 以 88.5% 的精确匹配率与 GPT-4o、Claude-3.5-Sonnet 持平；在长上下文理解任务 DROP 中，3 样本 F1 值高达 91.6，远超同类模型，展现出在英语任务上的强大实力。

2. 代码能力突出 ：面对 HumanEval-Mul 支持的 8 种编程语言，DeepSeek-V3 一次通过率达 82.6%；在 Codeforces 竞赛中，模型表现进入前 51.6% 百分位，在代码生成与优化任务中 表现优秀。

3. 数学推理优势 ：在 AIME 2024 和 CNMO 2024 等数学推理任务上，DeepSeek-V3 的一次通过率分别为 39.2% 和 43.2%，刷新非 O1 类模型记录，彰显其在数学领域的卓越推理能力。

4. 中文场景优化 ：尽管预训练语料规模小于竞品（14.8T vs 18T），但 DeepSeek-V3 在 C-SimpleQA 中以 64.8% 的正确率领先 Qwen2.5-72B 16.4 个百分点，在 C-Eval 和 CLUEWSC 等教育推理任务中表现与闭源模型相当，证明其在中文场景下的深度优化成果。

5. 开放式对话能力 ：在 Arena-Hard 基准中，DeepSeek-V3 以 85.5% 的胜率首次让开源模型突破 85% 大关；在 AlpacaEval 2.0 的写作任务中，长度控制胜率达 70.0%，超越所有基线，展现出在开放式对话任务中的出色表现。

三、开源贡献：推动 AI 普惠

DeepSeek-V3 的开源不仅是技术上的突破，更为重要的是推动了 AI 的普惠发展。

1. 自我奖励机制 ：通过利用模型自身的投票评估结果作为反馈源，结合宪法 AI 框架，DeepSeek-V3 实现复杂场景下的持续优化，提升模型的可靠性和一致性。

2. 多维度评估体系 ：覆盖 8 大领域 20 + 基准的多维度评估体系，避免单一指标偏差，全面衡量模型能力，为模型的优化和改进提供有力支持。

3. 生态赋能 ：DeepSeek 团队通过提供详尽的技术文档和社区协作平台，为开发者打造从训练到部署的全链路支持，降低大模型应用门槛，加速模型在实际场景中的落地。

四、挑战与展望：迈向 AGI 的新征程

尽管 DeepSeek-V3 取得显著成就，但仍面临一些挑战。

1. 部署效率 ：推荐的分布式部署方案对中小团队存在门槛，需要进一步优化推理框架，提高部署效率，降低硬件成本。

2. 评估体系 ：需探索超越传统基准的动态评估方法，更真实地反映模型在复杂、多变环境下的实际能力，为模型的持续改进提供更准确的指导。

DeepSeek-V3 的发布是开源社区的重要里程碑，也是 AI 技术迈向通用智能的关键一步。不过笔者要吐槽一下，现在的大模型训练真的越来越大，部署是一回事情，训练完全是另外一回事。真要结合项目学习技术上的点，自己去验证的话，现在中实现条件越来越高了，根本不现实。

五、训练概览图