ICLR 2026 | QuRL：用「逐题评分量规」，把 RLVR 落地到开放式问答

近两年，可验证奖励强化学习（RLVR）彻底带火了大模型的能力提升 —— 代码生成、数学解题这类有明确标准答案的任务，靠确定性规则打分做训练，效果又稳又好。但放到更常见的开放式问答场景里，这套方法一直走不通：毕竟 “好回答” 没有唯一标准答案，既没法直接验证对错，传统 RLHF 训出来的黑盒奖励模型又常常说不清评分标准，还容易被模型 “刷分”。

发表在 ICLR 2026 的 QuRL 工作，刚好打中了这个痛点。它的核心思路非常直白：既然人类打分本质上是靠心里隐含的评分细则，那不如直接把这些细则显式化，做成每道题专属的「评分量规（rubric）」，用它来给强化学习提供可验证的奖励信号，相当于把 RLVR 的思路拓展到了主观任务里。

可能有人会问：每道题都做专属评分细则，成本会不会很高？QuRL 的巧妙之处就在于，它没有靠人工一条条写，而是从互联网已有的人类优质文本里自动蒸馏。针对一个问题，先检索相关的高口碑文章、讨论内容，再用小模型提炼出和问题强相关的核心观点与优质表达（也就是元描述），最后基于这些内容生成结构化的评分项。最终生成的 rubric 非常精简，单题通常只有 5-8 个评分项、几百字篇幅，既覆盖了内容完整性，也包含了写作流畅度、表达吸引力这类文风标准，比动辄十万字的原始网页压缩了上百倍，打分成本极低。

在训练阶段，这套量规直接和 GRPO 算法打配合。针对每个问题，策略模型先采样出 8 条候选回答，裁判模型对照着对应题目的 rubric 逐项打分，再把总分归一化成 0 到 1 之间的奖励值，最后用 GRPO 计算相对优势来更新策略模型。和传统 RLHF 相比，这种方式不需要单独训练一个奖励模型，评分标准完全透明可解释，还能有效缓解奖励黑客问题；更重要的是，有了明确的量规引导，哪怕是中等尺寸的模型当裁判，打分的稳定性和人类偏好对齐度也很高。

从实验结果来看，这套方案的收益非常显著。在 HelloBench、LongBench-Write 等三个基准测试上，基于 Qwen2.5-7B 的 QuRL 模型，比监督微调基线平均高出 17.0 分，比传统 RLHF 方案也高出 11.6 分。在和人类评分的一致性对比中，QuRL 的相关系数也是所有参评方法里最高的，充分证明了显式量规的优势。消融实验也进一步验证：不管是去掉量规本身、去掉过滤机制，还是不使用网络文本素材，效果都会出现明显下滑。

总的来说，QuRL 最有启发的地方在于，它证明了开放式任务的强化学习，未必非要依赖黑盒的奖励模型。把人类的评估标准提炼成清晰、结构化的显式规则，同样能提供高质量的奖励信号，还兼具可解释性与可扩展性，给后续的开放式对齐工作提供了一个非常务实的新思路。

在博客中加入QuRL框架的具体实验细节

推荐一些QuRL论文的解读视频

如何将QuRL框架应用到实际项目中？