DeepSeek 再探(二)

最新推荐文章于 2025-06-03 21:31:47 发布

Wang S

最新推荐文章于 2025-06-03 21:31:47 发布

阅读量1k

点赞数 31

文章标签：人工智能

本文链接：https://blog.youkuaiyun.com/weixin_43214046/article/details/146102270

版权

DeepSeek 再探(二)

知识预备PG

策略模型参数 $\theta$ 在给定观测值(input_ids) 的条件下，自回归生成一段轨迹/句子 trajectory ： $\tau$
$\tau = \{{s_1,a_1,r_1,s_2,a_2,r_2,...,s_T,a_T,r_T}\}$
解释下：

$s_i$ 表示当前观测状态，对应于策略模型(policy model)输入(input_ids or imput_emdings)；

$a_i$ 是动作，等同于策略模型输入input_ids经 forward得到的 logits 做sample 操作，在vocab 里选取 next token; 由于sample 具有随机性，相同的观测值未必采取相同的行动(即: 同一个问题上生成多条回答)；

$r_i$ 是 冻结的 reward model 在给定状态-动作序列 ( $s_{i<t}$ , $a_{i<t}$ ) 后生成的即时奖励分数，表示当前时刻的 $r_i$ 的即时奖励。

当前时刻 $i$ 的整体奖励由即时奖励和未来奖励两部分组成，其数学表达式为：
$R(\tau) = \sum_i^{T} r_{n}$
```
"""
在选择当前动作  $a_i$ token 时，未来奖励是无法直接获取的。为解决这个问题，还需要引入 `critic` 来估计未来奖励的期望值。
"""
```
目标：训练模型参数 $\theta$ , 由 $\theta$ 采样/生成每条轨迹/句子的奖励分数 $R(\tau)$ 要高，因此，最大化目标函数：
$obj_{\theta} = \sum_{\tau} R(\tau)P(\tau|\theta)$
求解梯度：
$\nabla obj_{\theta} = \sum_{\tau} R(\tau) \nabla P(\tau|\theta) \\ = \sum_{\tau} R(\tau)P(\tau|\theta) \nabla logP(\tau|\theta) \\ = \frac{1}{N} \sum^{N}_{1} R(\tau) \nabla logP(\tau|\theta)$
求 $P(\tau|\theta)$
$P(\tau|\theta) = p(s_1)p(a_1|s_1,\theta)p(r_1,s_2|s_1,a_1)p(a_2|s_2,\theta)p(r_2,s_3|s_2,a_2) ...$
只保留与 $\theta$ 相关项
$logP(\tau|\theta) = \sum_{t=1}^{T} p(a_t|s_t,\theta)$
最终梯度计算公式如下：
$\nabla obj_{\theta} = \frac{1}{N} \sum^{N}_{n = 1} R(\tau) \nabla logP(\tau|\theta) \\ = \frac{1}{N} \sum^{N}_{n = 1} \sum^{T}_{t = 1} R(\tau^{n}) \nabla logp(a_t|s_t,\theta)$
当 $R(\tau)$ 始终为正值时，若采样（sample）数量不足，已采样到的动作 $a_i$ 的概率会随着参数 $\theta$ 的更新而逐渐提高；而未采样到的动作 $a_j$ 的概率则会随着 $\theta$ 的更新而逐渐降低。然而，在初始理想条件下，根据分布 $p(\tau|\theta)$ ， $a_j$ 可能产生的奖励实际上比 $a_i$ 更高（由于 $a_j$ 在初始时未被采样到，策略模型参数更新时会降低 $a_j$ 的概率）。因此，为了避免这种偏差，需要引入一个基线值（baseline），使得 $R(\tau)$ 不完全为正值。这就是引入优势概念的原因。
$\nabla obj_{\theta} = \frac{1}{N} \sum^{N}_{n = 1} \sum^{T}_{t = 1} R(\tau^{n} -b ) \nabla logp(a_t|s_t,\theta) \\$
知识预备RLHF
- 价值函数：
  
  上文讨论奖励值时，仅考虑即时奖励显得有点短视，因为当前状态和动作会影响未来的状态和动作，进而影响整体收益。因此，更合理的设计是：t时刻总收益 = **即时收益 + 未来收益。**表达式如下：
  $\gamma V _ { t + 1 }$
  - $V_t$ : t时刻的实际期望总收益，包含即时和未来收益，由参数更新的critic model 预测。指的是对语言模型从“当前生成 token 开始，直到整个 response 生成结束”后的收益预估。由于语言模型尚未生成后续的 token，因此只能对其未来一系列动作的收益进行估计，故称为“期望总收益”。
  - $R_t$ : t 时刻的即时收益, 由冻结的 reward model 产生。
  - $V_{t+1}$ : t+1时刻的总收益，代表未来收益，由参数更新的critic model 预测，同 $V_t$ 定义。
  - $\gamma$ : 折扣因子，决定未来收益对当前收益的影响程度。
- 四个角色：
  - Actor Model，需要训练的策略模型，参数可训练。先喂给Actor一条prompt，让它生成对应的response。然后，再将“prompt + response"送入带奖励weight的loss 计算体系中去算loss，用于更新actor 参数更新。
  - Critic Model，作用是预估总收益 $V_t$ ，参数可训练。在 $t$ 时刻，给不出客观存在的总收益 $V_t$ ，只能训练一个模型去预测它，主要提升人类偏好量化判断能力。
  - Reward Model，它的作用是计算即时收益 $R_t$ ，参数冻结。
  - Reference Model，给Actor增加一些“约束”，防止Actor训歪，一般用SFT模型做初始化，参数冻结。主要希望这两个模型的输出分布(log_prob)尽量相似。在Actor模型中，给定一个prompt，它会生成response，每个token对应一个log_prob，记为log_probs。将prompt + response输入Reference 模型，得到每个token的ref_log_probs。两个模型输出分布的相似度可用KL散度 计算衡量。即：ref_log_probs - log_probs, 该KL 散度 将用于后续loss的计算。
- Actor loss：
  
  由上文推导，策略模型的损失函数如下表示。 $N$ 表示同一prompt , 生成 $N$ 个 response ,T 表示每条 response 有 T 个生成的token, 现在优化的目标：最大化下述目标函数。
  $obj_{\theta} = \frac{1}{N} \sum^{N}_{n = 1} \sum^{T}_{t = 1} R(\tau^{n} -b )·logp(a_t|s_t,\theta) \\$
  变形1:
  
  $ R(\tau^{n})$ 是在句子级别上评估，表示response级别的奖励优势，即response里所有token的奖励都一致，请仔细理解角标表示含义。现在用每个token的期望预估整体收益 $V_t$ 取代它，即response 中生成的每个token分配的奖励不相同，虽然每个token整体收益不能直观获取，但是我可以用critic1 模型去做收益期望估计呀？
  $obj_{\theta} = \frac{1}{N} \sum^{N}_{n = 1} \sum^{T}_{t = 1} V_{t}·logp(a_t|s_t,\theta) \\$
  当 $V_t > 0$ 时，意味着Critic对Actor当前采取的动作给了正向反馈，因此就需要在训练迭代中提高 $logp(a_t|s_t,\theta)$ .也就是：对 $s_t$ 而言，如果采样 $a_t$ 产生的收益较高，那就增大它出现的概率，否则降低它出现的概率。
  
  变形2:
  为让 $V_t$ 有正有负，上述奖励 ( $R(\tau^{n}) -b$ ) 是减去一个base_line 值。假设Critic对动作 $a_t$ 的期望预测总收益为 $V_t$ ，但实际总收益是 $\gamma * V_{t+1} - V_t$ ，那么期望预期总收益 $V_t$ 不就可以作为baseline了。即我希望当采用这个动作的奖励高于我的预期值。即：定义优势如下：
  $Adv_t = R_t + \gamma * V_{t+1} - V_t$
  更新目标函数：
  $obj_{\theta} = \frac{1}{N} \sum^{N}_{n = 1} \sum^{T}_{t = 1}{Adv_t}·logp(a_t|s_t,\theta) \\$
  变形3:
  
  上文讲到需要将Reference Model 和 Actor Model 的 KL 散度纳入 loss 计算中，不至于模型训歪。怎么实现呢? 一个想法：相同状态 $S_t$ , 如果 Actor Model采取的动作和Reference Model 采取的动作一致，那我就增加一点奖励：(KL散度值)，即修改即时收益： $R_t$ -> $R^{'}_{t}$ 。
  $Adv_t = R^{'}_t + \gamma * V_{t+1} - V_t \\ R^{'}_t = -k l_- c t l * (log \frac{P(A_t|S_t)}{P_{ref}(A_t|S_t)}) + R_t$
  到这里，恭喜您已经基本上学会PPO 方法了，仔细理解下图，确保图的流程和上述公式能准确对上。
  
  图中，显示GAE 算法，这么理解：对于收益 $V_t$ 而言，分为即时 $R^{'}_{t}$ 和未来 $V_{t+1}$ ，那么对于优势而言，是不是也能引入对未来优势的考量呢？
  $\begin{align*}Adv_t = (R_t + \gamma * V_{t+1} - V_t) + \gamma * \lambda * A_{t+1}\end{align*}$
  上述介绍了Policy model 整体的损失函数设计，以及怎么变形到ppo算法的损失的。
- Critic loss
  
  常规MSE 损失函数：
  $Critic\_loss = (R_t + \gamma * V_{t+1} - V_t)^2$
知识预备PPO算法
- 回顾一下整体流程：
1. 生成Responses：将prompts批次输入Actor模型，生成相应的responses。在此过程中，可以设置不同的生成策略（如beam search、sampling等）以探索多样的输出。
2. 计算 Responses 优势：将生成的"prompt + response"对输入Critic/Reward/Reference模型，评估每个response中每个token的奖励分数。
3. 计算Loss：
  - Actor Loss：基于Critic/Reward模型提供的奖励，计算策略梯度，以指导Actor模型的更新。
  - Critic Loss：计算预测值与实际反馈值之间的差异，常用的方法包括均方误差（MSE）等，确保Critic模型能准确评估Actor的输出。
4. 模型更新：使用计算出的actor和critic loss，通过反向传播算法更新Actor和Critic模型的参数。可以采用Adam、SGD等优化器，并适当调整学习率以稳定训练过程。
5. 迭代优化：重复上述步骤，持续迭代优化模型。
- off-policy:
  
  这部分强烈建议看下李宏毅的重要性采样的强化学习课程，怎么从P(X) 采样转换为 Q(X) 分布采样的，并保证两者期望值一致。简单点介绍：引入另外一个策略 $\theta_{old}$ , 用 $\theta_{old}$ 收集到的数据去训练 $\theta$ 。假设我们可以用 $\theta_{old}$ 收集到的数据去训练 $\theta$ ，意味着说可以把 $\theta_{old}$ 收集到的数据用很多次，也就是可以执行梯度上升好几次，更新参数好几次。
  $\nabla obj_{\theta} = E_{\tau \in \theta_{{old}}}[(Weight)· R(\tau) \nabla logP(\tau|\theta)]$
  
  $\frac{p_{\theta}(\tau)}{p_{\theta_{old}(\tau)}}$
  weight 是重要性采样比 (Policy Ratio),衡量新旧策略之间的变化。
- 裁剪约束：
  
  裁剪的目标函数：限制策略更新幅度，以避免剧烈变化导致模型崩溃。
  $actor_{loss} = -min(Adv_t * \frac{P(A_t|S_t)}{P_{old}(A_t|S_t)}, Adv_t * clip(\frac{P(A_t|S_t)}{P_{old}(A_t|S_t)}, 0.8, 1.2))$

GRPO算法

核心思想:群体相对策略优化 (GRPO，Group Relative Policy Optimization)。通过在同一个问题上生成多条回答，评估彼此相关的响应组(彼此之间相互比较)来优化策略模型。
优点：
- 无Critic模型优化：GRPO 通过比较组内的响应消除了对Critic模型的需求，从而显著减少了计算开销;
- 相对评估：GRPO 不依赖外部评估者(Critic模型)，而是使用群体组来评估某个响应相对于同一批次中其他响应的表现如何。