GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL Optimization

文章总结与翻译

一、主要内容

本文聚焦多奖励强化学习（RL）优化问题，核心围绕现有Group Relative Policy Optimization（GRPO）算法在多奖励场景下的局限性展开研究，并提出改进方案。

核心背景

随着语言模型能力提升，用户期望模型不仅提供准确响应，还需满足效率、安全性、格式合规等多样化偏好。多奖励RL通过整合多个分别对应不同偏好的奖励信号引导模型训练，但现有工作多直接采用GRPO算法，未验证其适用性。

关键问题

GRPO在多奖励场景中存在“奖励信号坍缩”问题：直接对聚合后的总奖励进行组归一化时，不同的原始奖励组合会被压缩为相同的优势值，导致训练信号分辨率下降，进而造成收敛次优、甚至早期训练失败。例如两二元奖励+两滚动条的场景中，6种不同奖励组合最终仅映射为2类优势值，掩盖了奖励间的重要差异。

解决方案：GDPO

提出Group reward-Decoupled Normalization Policy Optimization（GDPO），核心设计包括：

1. 奖励解耦归一化：对每个奖励单独进行组级归一化，而非先聚合再归一化，保留不同奖励组合的相对差异；
2. 批次级优势归一化：对归一化后的