Group Sequence Policy Optimization

文章主要内容和创新点总结

主要内容

本文提出了一种名为Group Sequence Policy Optimization（GSPO） 的强化学习算法，用于训练大型语言模型（LLMs）。该算法针对现有强化学习算法（如GRPO）在训练大型语言模型时存在的稳定性问题（如模型崩溃），通过重新设计重要性比率的定义和优化目标，实现了更稳定、高效且性能更优的训练。实验表明，GSPO在训练效率、性能上显著优于GRPO，能稳定混合专家（MoE）模型的强化学习训练，并有望简化强化学习基础设施设计，其优势已助力最新Qwen3模型的性能提升。

创新点

1. 序列级别的重要性比率定义：不同于GRPO采用token级重要性比率，GSPO基于序列似然定义重要性比率，符合重要性采样的基本原理，减少了训练噪声的积累。
2. 序列级优化机制：统一采用序列级别的裁剪、奖励和优化，使奖励单位与优化单位匹配，解决了GRPO中token级优化与序列级奖励不匹配导致的不稳定性。
3. MoE模型训练稳定性：从根本上解决了混合专家（MoE）模型强化学习训练中的专家激活波动问题，无需复杂的“Routing Replay”策略，简化了训练流程。
4. 灵活变体设计：提出GSPO-token变体，支持token级别的优势调整，兼顾序列级优化的稳定性与细粒度调整需求。
5. 基础设施简化潜力：仅