一个故事秒懂强化学习与GRPO

一个故事秒懂强化学习与GRPO！_哔哩哔哩_bilibili

这篇内容通过一个生活化的故事，让我们从感性上理解强化学习是怎么做的，以及它是如何一步步对以往的方法进行改进，最终发展成GRPO这项技术。

理解强化学习

强化学习复杂的数学展示可能会让人难以理解，但通过通俗易懂的例子，每一步都显得非常合理。可以理解为什么采取这种方法、初衷以及最终达到的效果。强化学习实际上是用数学化的方式展现给我们。

大模型训练的三个步骤

老师上课的过程可以对应大模型训练的三个步骤：

1. 预训练：解释核心的知识和概念。
2. SFT（监督训练）：有问题有答案，进行监督训练。
3. 强化学习：通过课后练习和考试进行强化。

为什么要有强化学习呢？就是为了鼓励好好学习，这时需要引入一些奖励机制。奖励最直接的方法是使用 reward model 产生的结果，通过打分鼓励模型学习。

PPO与GRPO的差异

如果效果不好，是因为需要差异化定制策略，根据不同情况制定奖励策略。

• PPO（Proximal Policy Optimization）：由于需要引入一个 critic model 或者称为 value function，它负责评估模型训练程度，从而制定不同的策略。这类似于家庭教师的作用，他们需要与模型一起进步，掌握学习情况，从而定制适合的策略。

• GRPO：在PPO中有专门的模型处理任务，而GRPO则去除这个模型，直接用策略让模型多答题，用题目平均分作为奖励，这样简化了训练过程的开销。

训练过程的原则

在训练过程中，需要和原始参考模型保持差异不太大。公式中使用 KL散度 来确保与原始模型的差异小。避免过于激进的提升，并引入一个截断函数，其目的是在改善模型的同时，不忘过去的经验。