【AI 天才研究院】DeepSeek R1 & Open AI o3：理解推理 LLMs 方法和策略构建和优化推理模型

本文将介绍构建推理模型的主要四种方法，或如何增强LLMs的推理能力。希望这能为您提供有价值的见解，并帮助您应对这一主题快速发展的文献和炒作。

2024 年，LLM字段见证了越来越多的专业化。除了预训练和微调之外，我们还见证了从 RAG 到代码助手的专用应用兴起。我预计这一趋势将在 2025 年加速，对领域和应用特定优化的重视程度将更高（即“专业化”）。

阶段 1-3 是开发 LLMs 的常见步骤。阶段 4 专门针对特定用例进行 LLMs。

推理模型的开发是这些专业化之一。这意味着我们改进LLMs以擅长通过中间步骤解决的最佳复杂任务，例如谜题、高级数学和编码挑战。然而，这种专业化并不取代其他LLM应用。因为将LLM转化为推理模型也引入了某些缺点，我将在稍后讨论。

目录

我们如何定义“推理模型”？

我们应该何时使用推理模型？

简要概述 DeepSeek 训练流程

四种构建和改进推理模型的主要方法

推理时间缩放 

2) 纯强化学习（RL） 

3) 监督微调和强化学习（SFT + RL） 

4) 纯监督微调（SFT）和蒸馏 

  结论 

关于 DeepSeek R1 的思考

在有限的预算下开发推理模型

我们如何定义“推理模型”？

我们应该何时使用推理模型？

简要概述 DeepSeek 训练流程

四种构建和改进推理模型的主要方法

推理时间缩放 

2) 纯强化学习（RL） 

3) 监督微调和强化学习（SFT + RL） 

4) 纯监督微调（SFT）和蒸馏 

  结论