GRPO 组相对策略优化：面向数学/代码推理的偏好对齐，DPO 的 group 版本

在大模型对齐领域，DPO 已经完美解决了传统 PPO 工程复杂、训练不稳定的问题，成为日常对话、风格对齐的主流方案。但在数学推理、代码生成、逻辑解题这类场景下，DPO 有一个致命短板：极度依赖人工成对标注。

数学题、代码题的正确答案是可以机器自动校验的，根本不需要人工一个个标注“哪个答案好、哪个答案差”。针对这个场景，GRPO（Group Relative Policy Optimization，组相对策略优化）应运而生。

作为当下 Agent、推理模型、代码大模型岗位的面试高频考点，GRPO 可以理解为「适配推理任务的升级版 DPO」。本篇用最通俗的大白话，带你彻底吃透 GRPO 的核心原理、训练逻辑、优缺点和适用场景，零基础也能看懂。

一、为什么要有 GRPO？DPO 的天生短板

我们先复盘 DPO 的核心局限，就能秒懂 GRPO 的诞生意义。

DPO 的训练前提是：必须有人工标注的成对数据（1 个 prompt + 1 条优质回答 chosen + 1 条劣质回答 rejected）。

这种模式非常适合主观偏好场景：比如聊天语气、文案风格、话术是否贴心、是否合规。这类场景没有绝对的对错，只能靠人工判断好坏。

但换到 数学解题、代码编写、逻辑推理 场景，DPO 就变得又笨又贵：

• 数学题答案只有「正确 / 错误」两种结果，有绝对标准答案；

• 代码能否运行、是否报错、结果是否正确，机器可以全自动校验；

• 完全不需要人工对比标注，人工成对标注纯纯浪费算力和人力。

简单说：DPO 适配「主观好坏」，GRPO 适配「客观对错」。GRPO 放弃了人工成对对比，改用单 prompt 多输出、组内相对排名的方式训练，专门解决推理类任务的对齐问题。

二、GRPO 核心原理：通俗大白话拆解

1、核心区别：DPO 是两两对比，GRPO 是组内对比

先记最核心的一句话：

DPO：一次只对比 2 个回答（一对一好坏）；GRPO：一次生成 N 个回答，一群回答互相对比排名。

举个生活化例子：

• DPO 模式：老师每次拿出 2 篇作文，人工判定 A 比 B 好，让模型学习这种一对一差异；

• GRPO 模式：老师给一道数学题，让学生一次性写 10 份答案，机器自动批改，算出哪些对、哪些错，再根据「组内排名」给学生打分优化。

2、GRPO 完整训练流程（极简版）

针对一道数学题/代码题 prompt，GRPO 只需要 3 步就能完成训练，全程无需人工标注：

第一步：组采样（核心特色）

让策略模型对同一个 prompt，一次性生成 N 个不同回答（比如 4 个、8 个、16 个）。有的答案正确、有的错误、有的步骤完整、有的步骤漏洞百出。

第二步：机器自动打客观奖励

利用代码/数学的可验证性，自动给每个回答打分：

• 答案完全正确、可正常运行 → 奖励 = 1

• 答案错误、报错、结果不对 → 奖励 = 0

这里的奖励是绝对客观、全自动生成，不需要任何人干预。

第三步：组内归一化，生成相对奖励

这是 GRPO 最关键的一步！它不看绝对分数，只看组内相对水平。

举个例子：同一组 8 个回答里，只有 2 个正确、6 个错误。

• 正确的 2 个：高于组内平均分 → 获得正向优势，模型加大这类正确回答的生成概率

• 错误的 6 个：低于组内平均分 → 获得负向优势，模型降低这类错误回答的生成概率

哪怕整组回答质量都很差，GRPO 也能找出「矮子里的高个子」，优先优化相对更好的输出，训练效率远超固定成对对比。

3、参考模型与策略模型的关系（和 DPO 一致）

GRPO 的模型架构和 DPO 完全一致，新手不用重新理解：

• 策略模型：持续更新、不断学习，最终的成品模型，负责优化推理能力；

• 参考模型（SFT 模型）：全程冻结、不更新梯度，只做基准约束，防止模型训练跑偏、丢失基础能力。

三、核心对比：DPO vs GRPO（面试必背）

一张表格吃透两大主流对齐算法的差异，适配面试答题、实战选型：

对比维度	DPO（直接偏好优化）	GRPO（组相对策略优化）
数据形式	固定成对数据（1 优 1 劣）	单 prompt 多输出（一组 N 个回答）
标注依赖	依赖大量人工偏好标注	无需人工标注，机器自动校验奖励
对比逻辑	两两绝对好坏对比	组内相对排名对比
适配场景	主观风格、聊天、合规对齐	客观推理、数学、代码、可验证任务
核心优势	稳定、简单、适配主观偏好	零人工标注、推理提升效果极强

四、GRPO 的核心优势与局限性

✅ 核心优势

1. 彻底摆脱人工标注：数学、代码任务可全自动生成训练数据，极大降低落地成本，适合大规模推理模型迭代；

2. 推理能力提升显著：组内多采样模式，能让模型反复试错、择优学习，比固定成对数据更贴合解题试错的逻辑；

3. 训练轻量化：继承 DPO 无奖励模型、无 Critic 网络的优势，工程简单、训练稳定、算力消耗低；

4. 自适应优化：不依赖绝对分数，只看相对水平，适配不同难度的推理题目，泛化性更强。

❌ 明显局限性

1. 无法用于主观偏好对齐：必须依赖「可自动校验对错」的任务，聊天风格、语气、文案质感这类主观场景，没有统一标准答案，完全用不了 GRPO；

2. 仅适配推理类任务：适用场景单一，通用性远不如 DPO；

3. 依赖自动校验脚本：需要手动编写代码判题、数学答案校验逻辑，落地需要一定工程成本。

五、GRPO 适用场景 & 不适用场景（实战选型必看）

✅ 非常适合

• 数学推理、奥数解题、逻辑推理任务对齐

• 代码生成、代码纠错、算法题求解、可运行代码对齐

• 有明确标准答案、可机器自动打分的客观任务

• Agent 工具调用、流程推理、确定性任务优化

❌ 完全不适合

• 日常聊天、对话风格、语气拟人化对齐

• 文案创作、润色、情感表达等主观偏好任务

• 无标准答案、只能人工判断好坏的对齐场景

六、本篇核心学习任务

1. 彻底分清 DPO 成对两两对比 和 GRPO 组内相对排名 的核心差异；

2. 牢记 GRPO 的核心特性：依赖可自动验证结果，无法处理主观风格偏好；

3. 掌握实战选型逻辑：主观对齐用 DPO，客观推理对齐用 GRPO。

七、文末面试自测思考题（高频原题）

1. GRPO 和 DPO 最核心的区别是什么？

2. GRPO 为什么不需要大量人工偏好标注？

3. GRPO 能不能用于普通聊天风格对齐？为什么？