浅聊RLVR

原创 已于 2025-08-25 19:48:29 修改 · 788 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #强化学习 #RLVR #GRPO

于 2025-08-25 19:41:50 首次发布
Yolo-v5

Yolo-v5

Yolo

YOLO（You Only Look Once）是一种流行的物体检测和图像分割模型，由华盛顿大学的Joseph Redmon 和Ali Farhadi 开发。 YOLO 于2015 年推出，因其高速和高精度而广受欢迎

一、概述

RLVR，Reinforcement Learning from Verifiable Rewards，可验证奖励的强化学习，是向大语言模型注入学习策略的主要训练策略之一，也是时下最主流的RL方法，很多主流的大模型都在后训练中采用了这种方法。
那么，究竟什么是RLVR呢？他和之前的RL方式有什么区别？他的核心算法是什么？他有什么优势？他的局限性又在哪里？下文开始探讨。

二、什么是RLVR？ta与传统的RL区别在哪？

首先，RL的根本是提高采样效率，但是传统的RL需要依赖人类标注或者复杂的奖励模型，但是RLVR改变了这点，他不需要上述的条件，而是通过规则化验证器生成二元反馈（0/1）。根据任务的类型，可验证类型分为三类：
1、正确性验证：通过模型输出和标准答案做匹配来生成奖励。
2、执行验证：通过代码解释器执行生成的代码，根据单元测试结果提供奖励。
3、可验证约束：强制模型遵循输出格式或者拒绝不当的请求，违法规则奖励则为0.

相较于传统的RLHF来说，由于RLVR使用的是可验证奖励，他是基于客观规则的，所以很难被策略模型所欺骗，难以被过度优化；其次不需要人工标注的情况下，节省成本，适合自动化的部署。
不过由于非常依赖于真实答案或者标准答案，所以很难推广到一些开放性的问题上，比如创作写作等场景。

三、核心算法

GRPO是RLVR的核心算法，相对于传统的PPO算法，GRPO的优势估计和策略更新机制上具有独特之处。PPO是通过学习一个评估器来估计，而GRPO是利用蒙特卡洛滚动从旧策略中采样来估计优势，这种情况下，GRPO可以更高效的利用数据。特别是LLM训练中，GRPO的白化处理可以进一步的提高训练的稳定性。
对于GRPO算法，优化目标可以表示为：
在这里插入图片描述
而可验证的二元特征可以表示为：
在这里插入图片描述
代入优化目标后，可以将优化目标改写为：
在这里插入图片描述
为了防止权重函数出现剧烈波动，需要加入平滑因子。
在这里插入图片描述

四、RLVR优势与局限

优势在于在提高了采样效率，也就是在少量次数的尝试下就可以得到目标答案，不过RLVR很难突破基座模型的能力上限，也就是基模无法解决的问题，RL训练后依旧难以解决（在大模型上，传统RL可以不断发现新策略）。
参考论文：https://arxiv.org/pdf/2504.13837
参考文献：https://www.51cto.com/article/816993.html

您可能感兴趣的与本文相关的镜像

Yolo-v5

Yolo-v5

Yolo

YOLO（You Only Look Once）是一种流行的物体检测和图像分割模型，由华盛顿大学的Joseph Redmon 和Ali Farhadi 开发。 YOLO 于2015 年推出，因其高速和高精度而广受欢迎

电子海鸥
关注
【大模型技术学习】RLVR：可验证奖励的强化学习（Reinforcement Learning with Verifiable Rewards）
12-08 178
RLVR是在传统RL框架基础上，增加奖励验证模块的一类算法。在智能体与环境交互过程中，对每一步奖励的合法性、合理性进行实时验证，仅将通过验证的“可信奖励”用于价值更新和策略优化。合法性验证：奖励是否符合预设规则（如安全约束、业务合规要求）；合理性验证：奖励是否与智能体的真实贡献匹配（避免因环境噪声或无关行为获得奖励）；追溯性验证：奖励的计算过程可回溯、可复现（记录奖励生成的关键参数、环境状态）。RLVR通过引入奖励验证机制，为强化学习的可靠落地提供了新的解决方案。
强化学习对齐三种范式对比：RLHF vs RLAIF vs RLVR
ZacharyGz的博客
06-09 4497
RLHF 的 reward 是主观近似（approximation）人类意图的一个 proxyRLVR 的 reward 是客观可验证（verifiable）的执行性结果或逻辑真值选择标准推荐方法有自动验证机制、标准明确RLVR目标主观、无法形式化RLHF。
VeriFree：无需Verifier的通用RL框架
KI的博客
06-01 993
VeriFree：无需Verifier的通用RL框架
揭秘语言模型后训练：指令微调、偏好调优与强化学习的深度解析
qq128252的博客
12-17 2054
人工智能领域的语言模型（Language Models）如GPT、Llama等，已经成为推动技术变革的核心力量。然而，预训练后的模型并非完美，它们仍需通过后训练（Post-training）来进一步优化性能，满足实际应用需求。本文将深入解析后训练的核心技巧，包括指令微调（SFT）偏好调优（DPO）和强化学习（RLVR），结合TÜLU 3的创新实践，展示如何通过后训练让模型更强大。后训练是指在语言模型大规模无监督预训练完成后，进一步针对特定任务、场景或用户需求进行的训练优化过程。提升模型的指令理解。
RLVR（可验证奖励的强化学习）：大模型后训练的客观评估策略
AlgoCraft
08-14 1301
RLVR（可验证奖励的强化学习）是当前主流的大模型训练方法，通过预定义规则（如数学答案匹配、代码测试）提供二元奖励信号，替代传统RLHF的主观评估。其核心优势在于客观性、易设计性和防作弊能力，广泛应用于数学推理、代码生成等确定性任务。构建RLVR需关注数据准备、奖励函数设计和验证体系，但存在领域依赖性强和可能窄化模型能力的局限。未来将聚焦垂直领域优化和工业级实施方案，推动技术实际落地。
RLVR来做Agent任务能力增强训练
周博洋的博客
06-29 725
提供给智能体的一系列可用函数，如网页搜索、文件查看器等。
RLVR240 Series
08-29
RLVR240系列是一种基于正温度系数（Positive Thermal Coefficient, PTC）技术的自恢复保险丝。这种器件主要用于过电流和过温保护，在电路中起到类似传统保险丝的作用，但具有可复原的特性。PTC自恢复保险丝在正常...
RLVR的枷锁：深度分析强化学习为何难破基础模型局限
王哥儿聊AI的博客
07-25 411
近期在大型推理模型方面的进展突出了“可验证奖励的强化学习（Reinforcement Learning with Verifiable Rewards，RLVR）”作为一种提升人工智能能力的有前景的方法，尤其是在解决复杂逻辑任务方面。然而，目前尚不清楚 RLVR 是否真正扩展了模型的推理边界，还是仅仅放大了基础模型已经知晓的高奖励输出，以提高精确度。本研究通过理论和实证调查，
RLVR的一种扩展方案--RLPR论文阅读
zzfive的博客
07-23 1187
可验证奖励的强化学习(Reinforcement Learning with Verifiable Rewards, RLVR)在提升大语言模型（LLMs）的推理能力方面展现出了良好潜力，但其依赖基于规则、准确答案或代码运行等可验证的硬奖励，使其很大程度上局限于数据和代码领域。为了解决此问题，本论文作者发现LLMs生成正确自由形式答案的内在概率能直接反应其对推理奖励的自我评估，即推理过程对得出争取答案的贡献程度；
2025 大语言模型年度回顾-Openai原创始人
最新发布
全网120W+关注AI拉呱，专注人工智能以及科技前沿！
12-29 409
2025年是大语言模型激动人心且充满意外之喜的一年。这类模型正在进化为一种全新的智能形态——它们的聪明程度远超我的预期，同时，它们的“笨拙”之处也让我大跌眼镜。但无论如何，大语言模型的实用价值已经毋庸置疑；即便以当前的能力水平来看，整个行业对其潜力的挖掘也还不到10%。与此同时，领域内仍有无数创新思路等待验证，从概念层面来看，未来的发展空间依然无比广阔。
干货|清华NLP实验室突破性创新：RLVR技术，破解通用领域推理难题！
2401_84494441的博客
07-02 906
清华大学NLP实验室提出RLPR技术，突破现有强化学习局限。该技术通过参考概率奖励机制(PR)捕捉模型内在评估能力，无需领域特定验证规则，仅需一次前向传播即可生成高质量奖励。研究显示，PR奖励质量显著优于传统方法，在0.5B规模即达0.91 AUC值。RLPR还创新性地引入动态过滤机制，提升训练稳定性。实验证明，该技术在Gemma、Llama、Qwen等主流模型上均能稳定提升推理能力，为强化学习在通用领域的应用开辟了新路径。相关代码、模型和数据已全面开源。
清华团队揭 RLVR 真相：大模型推理能力早被基线锁死，强化学习只是表面优化！
LLM_jingjinzhilu的博客
07-23 908
本研究通过系统实验深入探讨了强化学习（RL）在提升大语言模型（LLMs）推理能力方面的实际效果。研究发现，尽管当前强化学习与验证器结合（RLVR）的方法被广泛采用，但其对模型推理能力的提升本质上并未超越基线模型自身的能力边界。实验结果表明，强化学习训练过程中产生的性能增益主要源于对特定任务模式的适应和优化，而非真正增强了模型的底层推理机制。研究团队通过多维度评估揭示了这一现象，并指出当前RL方法在促进LLMs实现更高级推理能力方面存在根本性局限。
穿越情感迷宫：RLVR点亮全模态情感识别的未来之路
步子哥的博客
03-16 934
情绪是人类内心世界的缩影，而全模态情感识别技术则试图以科学与智能的力量，把这一内心世界以尽可能精细的维度展现出来。R1-Omni通过引入RLVR与GRPO等新型学习策略，不仅实现了情绪预测的准确性飞跃，更为我们提供了一种全新的解释路径，让机器能“说出”它是如何观察、推理和理解一个视频中的情绪变化的。在未来，这样的成果将推动多模态数据理解领域突破更多界限，帮助我们构建更加智能、更加有人情味的交互系统。正如一位哲人所言：“科技的最终目的，不在于取代人类，而在于放大人类理解世界的能力。
强化学习（RLVR）真的能提升大语言模型的推理能力吗？——解读最新研究
阿正的梦工坊
05-15 784
Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?
保姆级拆解！从RLHF到RLVR，大型推理模型技术全突破！原理+实战+避坑，一篇吃透！
Python_cocola的博客
09-29 1348
导读**：近期，一篇名为《A Survey of Reinforcement Learning for Large Reasoning Models》的综述性文章系统梳理了强化学习（RL）在前沿大型推理模型（LRM）中的应用、挑战与未来方向。本文旨在为领域内的研究者与从业者，提供对该篇综述的专业化、结构化解读，提炼其核心技术脉络与前沿洞见。
程序员必藏！大模型训练革命：从RLHF到RLVR的范式转换与未来突破！
libaiup的博客
09-29 830
本文解析了大模型训练从RLHF到RLVR的范式革命。RLHF依赖人类偏好，存在过度优化瓶颈；RLVR通过可验证奖励(如数学正确性)实现对齐客观真理，支持无限扩展。GRPO算法作为RLVR高效引擎，移除价值模型，利用群体相对表现进行优化。DeepSeek R1、Kimi K1.5和Qwen 3等模型展示了高质量SFT、数据筛选和高效基础设施的重要性。RLVR为AGI发展开辟新道路，通过自我验证环境实现AI能力的持续跃升。
【AI论文】隐形枷锁：为何RLVR无法摆脱其起源之缚
m0_66899341的博客
07-27 1289
摘要： 本研究探讨了可验证奖励强化学习（RLVR）在提升大型推理模型中的潜在局限性。理论上，RLVR受限于基础模型支持集，无法生成初始概率为零的解决方案，仅作为保守的重新加权机制运作。实证分析表明，尽管RLVR能提高pass@1指标，但在高采样预算下会缩小探索范围，导致无法获取基础模型原本能解决的正确答案。研究还发现，RLVR在标记层面熵增加的同时，答案层面熵降低，表明解决方案趋向收敛于更小集合。这些发现揭示了RLVR在拓展推理边界方面的局限性，建议未来结合显式探索机制或混合策略以突破约束。论文链接：250
零基础也能看懂！强化学习入门指南：从RLHF到RLVR全梳理
2401_85325726的博客
06-23 1466
强化学习（RL）已经成为当今 LLM 不可或缺的技术之一。从大模型对齐到推理模型训练再到如今的智能体强化学习（Agentic RL），你几乎能在当今 AI 领域的每个领域看到强化学习的身影。
RL模型
11-19
强化学习（RL）是一种机器学习方法，研究的是智能体与环境交互的问题，其目标是使智能体在复杂且不确定的环境中最大化奖励。RL提供了一种方法来微调预训练的大语言模型（LLM），让它们更好地达成期望的品质，就像给LLM进行额外训练，使其成为表现良好且有帮助的伙伴 [^1][^3]。 RL主要由两部分组成：智能体和环境。智能体在环境中执行动作，环境根据智能体的动作给出奖励信号，智能体的目标是通过不断学习，选择能获得最大累积奖励的动作策略 [^3]。 在实际应用中，为了解决RL中的一些问题，人们设计了许多机制，如Critic（价值函数）、Clip操作、Reference Model以及最近流行的GRPO（Group Relative Policy Optimization）等 [^5]。此外，还出现了一种新技术，即RLVR（Reinforcement Learning with Verifiable Rewards），即可验证奖励的强化学习，它不再依赖模糊的人类偏好，而是使用“答案正确性”或“单元测试通过率”等可验证的信号来训练模型 [^4]。 以下是一个简单的强化学习伪代码示例，展示智能体与环境交互的基本过程： ```python # 定义环境类 class Environment: def __init__(self): # 初始化环境状态 self.state = None def reset(self): # 重置环境状态 self.state = ... return self.state def step(self, action): # 根据动作更新环境状态 next_state = ... # 计算奖励 reward = ... # 判断是否结束 done = ... return next_state, reward, done # 定义智能体类 class Agent: def __init__(self): # 初始化策略 self.policy = ... def choose_action(self, state): # 根据当前状态选择动作 action = ... return action # 主循环 env = Environment() agent = Agent() state = env.reset() done = False while not done: action = agent.choose_action(state) next_state, reward, done = env.step(action) state = next_state ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值