DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

本文是LLM系列文章，针对《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》的翻译。

摘要

我们介绍了我们的第一代推理模型DeepSeek-R1-Zero和DeepSeek-R1。DeepSeek-R1-Zero是一个通过大规模强化学习（RL）训练的模型，没有作为初步步骤的监督微调（SFT），表现出卓越的推理能力。通过RL，DeepSeek-R1-Zero自然地出现了许多强大而有趣的推理行为。然而，它遇到了可读性差和语言混合等挑战。为了解决这些问题并进一步提高推理性能，我们引入了DeepSeek-R1，它在RL之前结合了多阶段训练和冷启动数据。DeepSeek-R2在推理任务上的性能与OpenAI-o1-1217相当。为了支持研究社区，我们开源了DeepSeek-R1-Zero、DeepSeek-R1，以及基于Qwen和Llama从DeepSeek-R2中提取的六个密集模型（1.5B、7B、8B、14B、32B、70B）。

1 引言

近年来，大型语言模型（LLM）正在经历快速迭代和进化，逐渐缩小了与通用人工智能（AGI）的差距。
最近，后训练已成为全面训练管道的重要组成部分。它已被证明可以提高推理任务的准确性，与社会价值观保持一致，并适应用户偏好，同时与预训练相比需要相对较少的计