港科技GVPO：理解GRPO，超越GRPO-优快云博客

作者 | 张凯成编辑 | 自动驾驶之心

原文链接：https://zhuanlan.zhihu.com/p/1911487456173359632

点击下方卡片，关注“自动驾驶之心”公众号

>>点击进入→自动驾驶之心『强化学习』技术交流群

本文只做学术分享，如有侵权，联系删文

“
TL;DR: 我们提出了GVPO，优势:(1)唯一最优解恰好是KL约束的reward最大化最优解(2)支持多样化采样分布，避免on-policy和重要性采样带来的各种问题

随着Deepseek的火爆，其中用到的强化学习算法GRPO也引起了广泛关注。GRPO通过对每一个prompt多次采样，避免了额外训练value model的开销。尽管如此，实践中复现GRPO经常表现出训练不稳定、效果表现不佳等症状。为此我们提出了GVPO(Group Variance Policy Optimization), 可以无缝适配现有GRPO框架并取得更好的表现、更稳定的训练并支持更丰富的数据来源。

动机

受到DPO的启发，我们也希望在GRPO场景(每个prompt多次采样)下利用KL约束的reward最大化

的解析解形式：

然而这里有一个问题在于公式里的Z(x)是对所有可能y的期望，在实践中难以计算。为此，我们发现当一个prompt内所有采样的梯度系数加和为0时，Z(x)可以被消掉。

GVPO

受此启发，我们提出了GVPO：

我们证明GVPO具有非常好的物理性质。具体来说

第一步是因为可以被消掉。第二步是因为。第三步是因为。

由此可见，GVPO 居然本质是一个 MSE loss！(喜) 其中是 MSE 的预测值，是 MSE 的真实值。

理论保证

基于这个变形，我们很容易（注意到.jpg）证明GVPO的理论最优解恰好是KL约束的reward最大化的最优解，即 , 。。

这个定理保证了GVPO实践中的有效性和稳定性。

上式中是依惯例从要对齐的 policy 中采样，在实践中即或。我们接下来可以证明，GVPO 支持从更广泛的分布中采样，且依然保持最优解性质。

在实践中由softmax decoding的policy都满足这个定理的要求。这意味着，GVPO支持非常广泛的采样分布：

GVPO支持非常广泛的采样分布

接下来我们正式展示GVPO的算法流程：

注意到GVPO的每个step中，对齐的都是上一个step的policy 。我们还证明了，GVPO在n步结束后，依然能够对齐最初的policy:

定理3可以保证GVPO的每一步更新都是稳定的（因为具有一个大约束），且最终优化可以“走得更远”（最终对齐的是）。

除此之外，文章中还证明了采样得到的loss是的无偏一致估计量，进一步保证了算法的性能。

与DPO的比较

GVPO与DPO一样，都利用到了KL约束的reward最大化的解析解。DPO是利用BT模型，两两相减消去了不可计算的。而GVPO则是利用了的性质而适用于多response的情况。这两个算法利用解析解带来了两个好处：（1）保证了算法优化过程的稳定性，不会过分偏离（2）将一个同时有policy 和reward 的复杂优化，简化成了只有reward 和的简单优化。

除此之外，GVPO和DPO相比还有一个重要的理论优势。DPO其实不一定具有唯一的最优解，换句话说KL约束的reward最大化的解可能只是DPO众多最优解中的一个。这源于DPO依赖的BT模型的内生缺陷。这个问题会导致，优化DPO目标不一定会随之优化我们真实想要的目标（即KL约束的reward最大化）。而GVPO则由定理1证明了其唯一解的性质。

与GRPO及Policy Gradient Methods比较

我们先比较GVPO与其余算法的结构相似性。为了简洁我们在这一节假设 =1。我们将展开并稍作变换可以得到其在梯度上等价于

可以发现GVPO的loss里一共有三项：

GVPO里隐含的正则项

我们进一步比较GVPO和Policy Gradient Methods更深层次的区别。实践中，Policy Gradient Methods为了保证更新的稳定性，会在最大化reward的过程中使用KL散度的惩罚限制偏离的程度，即：

这带来一个问题，即必须从当前的policy 中采样，带来低采样效率的问题。作为一种解决方式，可以引入重要性采样：

重要性采用使得可以从之前的policy 中采样。然而其中带来了重要性采样系数

，当和差别较大时会带来梯度爆炸或者梯度消失等问题。PPO和GRPO等算法在实践中采用了clip技术，强制限制重要性采样系数不要过大或过小。但因此，clip会导致无偏性消失并带来各种各样的问题。

作为对比，GVPO就没有这些问题，因为GVPO从一开始就不需要on- policy采样。将上述Policy Gradient Methods内减去一个常数可以得到：

作为对比，GVPO的梯度是：

由此可见带KL约束的Policy Gradient Methods其实是GVPO当 = 的一种特例！这也体现出GVPO能将采样分布解耦带来的优势：一方面避免了on-policy样本利用率低的缺点，另一方面也避免了现有off-policy方法的重要性采样带来的缺点。

总结

本文的封面概括了GVPO的核心内容：

蓝色部分。我们从梯度权重w出发设计了GVPO loss，通过与policy gradient对比，体现了GVPO具有采样丰富性的优势。
红色部分。GVPO可以表示成真实reward和隐式reward的MSE形式。从MSE形式可以进一步推导出GVPO理论唯一最优解的优良性质。
黄色部分。通过拆解GVPO loss，可以从正则项的角度说明GVPO的稳定性。

此外，GVPO的实现十分简单，文章中展示了在verl框架下如何只修改几行代码实现GVPO。

这篇论文的标题是: GVPO: Group Variance Policy Optimization for Large Language Model Post-Training

arxiv链接：GVPO: Group Variance Policy Optimization for Large Language Model Post-Training

欢迎讨论:-)

自动驾驶之心

论文辅导来啦

知识星球交流社区

近4000人的交流社区，近300+自动驾驶公司与科研结构加入！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（大模型、端到端自动驾驶、世界模型、仿真闭环、3D检测、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型，更有行业动态和岗位发布！欢迎加入。

独家专业课程

端到端自动驾驶、大模型、VLA、仿真测试、自动驾驶C++、BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、CUDA与TensorRT模型部署、大模型与自动驾驶、NeRF、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频

学习官网：www.zdjszx.com