Deepseek成功启示：从 TRPO 到 GRPO训练LLM

DeepSeek （DeepSeek-V3 深度剖析：下一代 AI 模型的全面解读）最近在 AI 社区引起了不小的轰动，这要归功于它以相对较低的成本提供令人印象深刻的性能。这是深入了解大型语言模型 LLMs 如何训练的绝佳机会。本文将深入探讨LLMs的训练过程，特别是强化学习（Reinforcement Learning，RL）（深度解析 DeepSeek R1：强化学习与知识蒸馏的协同力量）在这一领域的应用，从TRPO（Trust Region Policy Optimization）到PPO（Proximal Policy Optimization），再到最新的GRPO（Group Relative Policy Optimization）的演进。

一、LLMs训练的三阶段

在深入探讨RL算法之前，我们先简要回顾一下LLMs训练的主要阶段。LLMs的训练通常分为三个步骤：预训练（Pre-training）、监督微调（Supervised Fine-Tuning，SFT）和强化学习微调（Reinforcement Learning Fine-Tuning，通常称为RLHF）。

1. 预训练：在这一阶段，模型会在一个庞大的数据集上进行训练，目标是预测序列中下一个标记（token）基于前面的标记。这一步骤使模型能够学习到语