DeepSeek-V3 Technical Report

本文是LLM系列文章，针对《DeepSeek-V3 Technical Report》的翻译。

摘要

我们提出了DeepSeek-V3，这是一个强大的混合专家（MoE）语言模型，总参数为671B，每个token激活37B。为了实现高效的推理和经济高效的训练，DeepSeek-V3采用了多头潜在注意力（MLA）和DeepSeekMoE架构，这些架构在DeepSeek-V2中得到了充分的验证。此外，DeepSeek-V3开创了一种用于负载平衡的辅助无损失策略，并设定了多token预测训练目标以提高性能。我们在14.8万亿个多样化和高质量的token上对DeepSeek-V3进行预训练，然后进行监督微调和强化学习阶段，以充分利用其功能。综合评估显示，DeepSeek-V3的表现优于其他开源模型，其性能可与领先的闭源模型相媲美。尽管性能卓越，DeepSeek-V3只需要2.788M H800 GPU小时即可进行全面训练。此外，它的训练过程非常稳定。在整个训练过程中，我们没有遇到任何不可挽回的损失高峰或任何倒退。模型检查点位于https://github.com/deepseek-ai/DeepSeek-V3.

1 引言

近年来，大型语言模型（LLM）正在经历快速迭代和进化，逐渐缩小了与通用人工智能（AGI）的差距。除了闭源模型，还有开源模型，包括DeepSeek系列、LLaMA系列、Qwen系列和Mistral系列也在