DeepSeek-R1：基于简单可验证奖励的强化学习

DeepSeek AI 通过简单的强化学习(RL)流程对 DeepSeek-V3(基础版本)进行了快速后训练，创建了一个名为 DeepSeek-R1 的新模型。该模型现在在各种基准测试中都达到了最先进的水平，甚至超越了 GPT-4o 等商业模型。

由于 R1 拥有高达 6850 亿参数，因此自行部署一份完整模型的成本依然高得令人望而却步。
不过，DeepSeek AI 提供了一个价格合理的 API 接口，方便用户访问该模型；同时他们还基于 Llama 3.1/3.3 和 Qwen2.5 发布了 R1 的蒸馏版本模型。这些蒸馏模型表现非常出色，甚至可以在消费级硬件上运行。

本文将探讨如何通过简单的强化学习流程将 DeepSeek-V3 升级为 R1 版本，并回顾用于训练 Qwen2.5 和 Llama 3 模型的知识蒸馏过程。我还将部分已发布模型量化为 4 位精度。由于这些模型基于 Qwen25 和 Llama 3 构建，它们能在大多数推理框架中运行。此外，我们还将检验其推理能力与输出质量。