一文搞懂DeepSeek - 强化学习和蒸馏

原创已于 2025-02-06 18:37:14 修改 · 2.4k 阅读

CC 4.0 BY-SA版权

文章标签：

#人工智能 #深度学习 #语言模型 #agi #AI大模型 #大模型 #DeepSeek

于 2025-02-04 19:43:09 首次发布

DeepSeek-R1在Introduction部分提到，R1通过结合 冷启动数据、多阶段训练管道和纯强化学习 ，显著提升了大型语言模型的推理能力，实现了与OpenAI的o1系列模型相当的性能，并通过蒸馏技术将推理能力传递给更小的模型。

DeepSeek-R1在Contributions部分重点提到两个贡献：

（1）训练后：在基础模型上进行大规模强化学习。 通过在基础模型上直接应用大规模强化学习，成功开发出具备自我验证和长思维链等推理能力的DeepSeek-R1。

（2）蒸馏：小模型同样强大。同时证明了大模型的推理模式可被有效蒸馏到小模型中，实现性能显著提升。

一、Post-Training:大规模强化学习

LLMs的推理能力仅通过强化学习来激励？DeepSeek-R1-Zero表明大型语言模型（Large Language Models）的推理能力可以仅通过强化学习来激励，而无需监督微调。

DeepSeek直接 在基础模型上应用强化学习（Reinforcement Learning，简称RL），而不依赖于监督微调（Supervised Fine-Tuning，简称SFT）作为初步步骤。 这种方法使模型能够探索用于解决复杂问题的思维链（Chain of Thought，简称CoT），从而开发出DeepSeek-R1-Zero。DeepSeek-R1-Zero 展示了自我验证、反思和生成长思维链等能力，为研究领域树立了重要里程碑。

不依赖于监督微调（SFT），仅通过强化学习（RL）来激励大语言模型，来激发LLMs的推理能力。这一技术创新突破为该领域的未来发展铺平了道路。第一次来自中国的0-1技术创新让硅谷骚动，让英伟达市值暴跌。

开发DeepSeek-R1的流程是什么？ R1流程包含 两个强化学习阶段，旨在发现改进的推理模式并与人类偏好保持一致，同时还包含两个监督微调阶段，作为模型推理和非推理能力的基础 。DeepSeek相信，该流程将通过创建更好的模型为行业带来益处。

二、蒸馏：小模型同样强大

蒸馏（Distillation）让小模型也同样强大？大模型的推理模式可以被蒸馏到小模型中，与通过小模型上的强化学习发现的推理模式相比，这种方法能获得更好的性能。

开源的DeepSeek-R1及其应用程序接口API将有助于研究界在未来蒸馏出更好的小型模型。DeepSeek-R1系列蒸馏的小模型在多个基准测试中的评估结果显著优于之前的开源模型，其中****DeepSeek-R1-Distill-Qwen-32B等表现尤为突出，其性能可与o1-mini相媲美 ，且DeepSeek已向研究界开源了基于Qwen2.5和Llama3系列的15亿、70亿、80亿、140亿、320亿和700亿等多个参数规模的检查点。

蒸馏，让小模型同样强大。又一王炸级别的0-1技术创新，难怪硅谷一帮大佬坐不住了。因为这一技术创新被国内外技术人员进行了验证，大家发现按照R1论文的方法可以成功基于DeepSeek-R1蒸馏出性能与o1-mini相媲美的小模型。再一次膜拜梁文峰大神。

如何蒸馏DeepSeek-R1-Distill-Qwen-32B？ 通过选择DeepSeek-R1作为教师模型，Qwen-32B作为学生模型，并准备大规模文本数据集，经过教师模型推理、学生模型训练、损失函数设计与优化算法选择等步骤，最终评估与调优得到性能优异的学生模型DeepSeek-R1-Distill-Qwen-32B。