由浅入深学习大语言模型RLHF(PPO强化学习- v1浅浅的)

        最近，随着DeepSeek的爆火，GRPO也走进了视野中。为了更好的学习GRPO，需要对PPO的强化学习有一个深入的理解，那么写一篇文章加深理解吧。纵观网上的文章，要么说PPO原理，各种复杂的公式看了就晕，要么说各种方式命名的模型，再要么默认你是个NLPer。这导致RLer和NLPer之间学习大语言模型强化学习产生了巨大的gap。于是，我们单纯说说大语言模型里面的PPO吧。

        其实PPO也是在训练模型，和SFT一样，都是为了获得最终一个用于推理部署的模型。SFT训练模型时一般需要一个base【模型】和【损失函数】，这里先这么浅显地说，因为PPO也需要这些，我们通过这些相同的部分来弥补NLP和RL之间的gap吧。

一、模型

SFT（Only one model）

        SFT模型一般是一个已经预训练过的大语言模型（例如GPTs、BERT等），或者是一个未经训练的小模型（LSTM）。

PPO（Four Models）

        PPO训练时总共有四个模型分别是Policy Model(Actor)、Reward Model、Reference Model、Critic Model。这里和SFT模型相似的也就是Policy Model，这个模型也是经过预训练的模型且用于未来实际使用的模型。其他三个模型都是用来辅助Policy Model模型训练的。那么其他三个模型的作用是什么呢？Let's talk step by step.

        Reward Model