DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

本文是LLM系列文章，针对《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》的翻译。

摘要

我们介绍了我们的第一代推理模型DeepSeek-R1-Zero和DeepSeek-R1。DeepSeek-R1-Zero是一个通过大规模强化学习（RL）训练的模型，没有作为初步步骤的监督微调（SFT），表现出卓越的推理能力。通过RL，DeepSeek-R1-Zero自然地出现了许多强大而有趣的推理行为。然而，它遇到了可读性差和语言混合等挑战。为了解决这些问题并进一步提高推理性能，我们引入了DeepSeek-R1，它在RL之前结合了多阶段训练和冷启动数据。DeepSeek-R2在推理任务上的性能与OpenAI-o1-1217相当。为了支持研究社区，我们开源了DeepSeek-R1-Zero、DeepSeek-R1，以及基于Qwen和Llama从DeepSeek-R2中提取的六个密集模型（1.5B、7B、8B、14B、32B、70B）。

1 引言

近年来，大型语言模型（LLM）正在经历快速迭代和进化，逐渐缩小了与通用人工智能（AGI）的差距。
最近，后训练已成为全面训练管道的重要组成部分。它已被证明可以提高推理任务的准确性，与社会价值观保持一致，并适应用户偏好，同时与预训练相比需要相对较少的计算资源。在推理能力方面，OpenAI的o1系列模型是第一个通过增加思维链推理过程的长度来引入推理时间缩放的模型。这种方法在各种推理任务中取得了重大改进，如数学、编码和科学推理。然而，有效测试时间缩放的挑战仍然是研究界的一个悬而未决