Self-rewarding correction for mathematical reasoning

最新推荐文章于 2025-11-24 18:29:32 发布
最新推荐文章于 2025-11-24 18:29:32 发布
阅读量183 收藏
点赞数 6
CC 4.0 BY-SA版权
分类专栏： LLM Daily LLM RL Causal and Reasoning 文章标签： 人工智能 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/146082680

摘要

我们研究了具有自奖励推理能力的大语言模型（LLMs），这类模型能够在推理时，在没有外部反馈的情况下，逐步生成推理过程，并评估输出的正确性。这种一体化的方法，使单个模型能够独立地引导其推理过程，为模型部署带来了计算优势。

我们特别关注自我修正这一具有代表性的任务，在这个任务中，模型能够自主检测其回答中的错误、修改输出，并决定何时终止迭代优化循环。为了实现这一目标，我们提出了一种两阶段算法框架，仅使用模型自身生成的数据，构建具有自奖励推理能力的模型。在第一阶段，我们采用顺序拒绝采样的方法，合成包含自奖励和自我修正机制的长思维链轨迹。通过在这些精心整理的数据上对模型进行微调，使其能够学习自奖励和自我修正的模式。在第二阶段，我们通过基于规则的信号进行强化学习，进一步增强模型评估回答准确性和优化输出的能力。以Llama-3和Qwen-2.5为基础的实验表明，我们的方法优于模型固有的自我修正能力，并且性能可与依赖外部奖励模型的系统相媲美。

引言

大语言模型（LLMs）在数学和编程等推理相关任务中，展现出了卓越的能力。值得注意的例子包括ChatGPT（OpenAI，2023）、Claude（Anthropic，2023）和Gemini（谷歌团队等，2023）。随着GPT-4的发布，具有强大推理能力的大语言模型，以及增强推理能力的推理方法，受到了更多的关注。这类模型的一个特别理想的特性是，它们能够根据对先前输出的反馈，检测自身生成的回答中的不一致和错误，并纠正这些错误，以产生更优的回答。在文献中，这个过程通常被称为自我修正（Welleck等人，2022；Madaan等人，2024；Kim等人，2024）。

当有外部真实奖励模型可用时

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Direct Large Language Model Alignment Through Self-Rewarding Contrastive Prompt Distillation
c_cpp_csharp的专栏
04-23 264
在没有人工注释偏好数据的情况下，使大型语言模型与人类期望相一致是一个重要问题。在本文中，我们提出了一种通过使用对比提示对下的响应对的输出概率来评估响应偏好的方法，与RLAIF相比，该方法可以在LLaMA2-7B和LLaMA2-13B上获得更好的性能。基于此，我们提出了一种自动对齐方法，即直接大模型对齐（DLMA）。首先，我们使用对比提示对来自动生成偏好数据。然后，我们继续使用对比提示对来评估生成的偏好数据，并计算自我奖励分数。最后，我们使用DPO算法通过结合这种自我奖励分数来有效地对齐LLM。
Self-Rewarding Vision-Language Model via Reasoning Decomposition
c_cpp_csharp的专栏
09-12 165
视觉-语言模型（VLMs）普遍存在两大关键问题：一是视觉幻觉，即生成图像中不存在的内容；二是语言捷径依赖，即跳过视觉理解，仅依靠文本先验知识回答问题。现有VLMs后训练方法多依赖简单的可验证答案匹配，仅监督最终输出，缺乏对中间视觉推理过程的明确指导，导致模型接收的视觉信号稀疏，优先选择基于语言的推理而非视觉感知。部分方法虽通过人类标注或外部大模型蒸馏标签补充视觉监督，但存在人力成本高、标注难扩展，且外部信号无法适应模型动态更新、易引发奖励攻击等局限。Vision-SR1是一种基于强化学习的自奖励框架，无需外
【AI论文】数学推理中的自我奖励式修正
m0_66899341的博客
03-02 886
自我奖励式推理框架的核心思想是将生成器和奖励模型集成到一个单一的LLM中，使模型能够在推理过程中同时生成逐步推理并评估其输出的正确性。这种集成方法使得模型能够独立引导其推理过程，而无需外部反馈。该框架特别关注自我修正任务，即模型能够自主检测其响应中的错误、修正输出，并决定何时终止迭代精炼循环。
一文总览OpenAI o1相关的技术：从CoT、Quiet-STaR、Self-Correct、Self-play RL、MCTS等到类o1模型rStar-Math
热门推荐
结构之法 算法之道
10-12 5万+
可能是去年写或讲的关于ChatGPT原理的文章和课程，影响力太大了导致​​自从OpenAI o1出来后，每过两天，就有朋友问，“校长 o1啥时候出解读或课程”，实在是各个大模型项目上的事情太多，加之近期一直在抠机器人(比如本博客内连发了五篇机器人相关的文章，再不刻意强插一下比如o1，真的很难停下来)但，今天又有朋友来问，故，准备并行开写o1了一开始，我主要是看的这几个资料但随着本文越写越深，挖出来的相关资料也越来越多，我会竭尽所能，确保本文具备以下两大特征。
【论文阅读笔记】NeurIPS2020文章列表Part1
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
2020年 ICLR 国际会议最终接受论文(poster-paper)列表(一)
yinizhilianlove的博客
02-21 1万+
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2020-01-22     2020年的ICLR会议将于今年的4月26日-4月30日在Millennium Hall, Addis Ababa ETHIOPIA（埃塞俄比亚首都亚的斯亚贝巴 千禧大厅）举行。     2020年ICLR会议（Eighth International Con...
2024LLM领域热词大盘点：有哪些你还不知道的关键术语？
m0_63171455的博客
01-23 1226
以下热词并不局限于24年，也没有囊括完24年，看看有没有你很眼熟的呢叠下甲：“中文”字段取最常见的中文叫法，若没有就是硬翻；“相关”字段为其相关的同类，不一定全；“出处”取互联网搜到的，不一定准；“胡侃”字段权当看个乐子，一家之言；欢迎评论区给出意见，接下来开始。
2020年 ICLR 国际会议最终接受论文(poster-paper)列表(四)
yinizhilianlove的博客
02-21 2万+
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2020-02-21     2020年的ICLR会议将于今年的4月26日-4月30日在Millennium Hall, Addis Ababa ETHIOPIA（埃塞俄比亚首都亚的斯亚贝巴 千禧大厅）举行。     2020年ICLR会议（Eighth International Con...
Praise for OpenGL ® ES ™ 3.0 Programming Guide
yangjia_cheng的博客
03-27 4686
www.it-ebooks.infoPraise for OpenGL ® ES ™ 3.0 Programming Guide,Second Edition“As a graphics technologist and intense OpenGL ES developer, Ican honestly say that if you buy only one book on OpenGL ES...
必读的100篇生成式AI论文清单
yanqianglifei的专栏
01-14 1982
2024年真是生成式人工智能研究大放异彩的一年！最让我们惊讶的是，整个领域的焦点发生了翻天覆地的变化。尤其是在 2023 年和 2024 年，情况开始变得截然不同，由于大模型模型已经能够做很多事情，因此也更加关注应用层面的研究。论文合集的分类框架如上图所示，把AI研究想象成一个从输入到输出的系统，就像实际部署的场景一样。这是大模型应用的起点，聚焦于输入处理和提示工程的研究。通过巧妙调整输入数据的方式，我们可以让大型语言模型（LLM）输出更优质的结果。这一层关注的是模型的“燃料”和“引擎”。
Self-Rewarding（自建奖励信号）技术详解与工程实现
技术引领业务创新
06-13 2993
Self-Rewarding（自建奖励信号）技术详解与工程实现
【论文阅读】Self-Rewarding Language Models
li_li_rui的专栏
08-01 610
本文介绍了自奖励语言模型（Self-Rewarding Language Models, SRLMs）的概念，这是一种能够自我对齐的语言模型，通过迭代直接偏好优化（Iterative DPO）训练，不仅提高了遵循指令的能力，还增强了自我奖励模型的质量。文章的Introduction部分提出，现有的基于人类偏好的大型语言模型（LLM）训练方法，如强化学习从人类反馈（RLHF）和直接偏好优化（DPO），受限于人类偏好数据的质量和数量，以及固定奖励模型的性能。
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 158
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
2025企业微信AI落地新趋势：微盛AI·企微管家破解内外增长难题
最新发布
weisheng00的博客
11-24 374
2025年企业微信AI落地的三大关键趋势：微盛AI·企微管家通过智能客服、精准营销和内部协作三大场景，帮助企业实现200%的客服效率提升、90%的报修响应提速和50%的员工效能增长。作为企业微信生态最大ISV服务商，微盛依托"AI+SCRM"双引擎，已服务160家500强企业，提供合规AI聊天Agent、生态闭环整合及私有化部署方案，有效解决数据孤岛问题，90%客户在3个月内实现AI能力全员覆盖。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 285
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 51
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
基于华为开发者空间实现花卉识别
优快云高校俱乐部官方博客
11-21 1534
基于华为开发者空间实现花卉识别
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 462
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
【NullSwap】NullSwap: Proactive Identity Cloaking Against Deepfake
人生不是轨道，是旷野。希望每天都有好心情。
11-23 161
由于生成模型的进步，被动检测高质量Deepfake图像的性能瓶颈，主动扰动提供了一种有前途的方法，通过将信号插入良性图像来禁用Deepfake操作。【生成模型的发展，使得生成高质量伪图越来越难被检测】然而，现有的主动扰动方法在以下几个方面仍然不能令人满意：【当前主动扰动存在的问题】1）由于直接元素添加而导致的视觉退化;2）对交换操纵的有效性有限;3）不可避免地依赖于白盒和灰盒设置，以在训练期间涉及生成模型。我们分析了深度伪造swap技术的本质，并论证了保护源身份而非目标图像的必要性。
Llamafactory rewarding model
04-17
<think>好的，用户想了解Llamafactory奖励模型的实现或概述。首先我需要确认Llamafactory是什么。根据之前的知识，Llamafactory可能是一个用于微调大型语言模型（如LLaMA）的框架或工具包。用户提到的奖励模型可能涉及强化学习中的奖励机制，尤其是在RLHF（基于人类反馈的强化学习）中。 接下来，我需要回顾之前的引用内容。引用1提到了逆强化学习和RLHF，引用3提到了DPO（直接偏好优化）方法，它不需要显式的奖励模型。这可能与Llamafactory的实现有关，因为有些框架可能采用DPO来避免单独训练奖励模型。 用户的问题是关于奖励模型的实现或概述，所以我需要先解释Llamafactory的整体架构，然后说明其中奖励模型的作用。如果Llamafactory使用DPO，那么奖励模型可能被隐式处理，而不是显式构建。但如果是传统的RLHF，则需要训练一个奖励模型来评估生成内容的质量。 需要检查引用中的信息。引用3指出DPO直接优化策略模型，无需显式奖励模型。而引用1提到RLHF需要从人类标注数据中推导奖励函数。因此，Llamafactory可能支持这两种方法，具体取决于配置。 可能的回答结构：先介绍Llamafactory的总体功能，然后分点讨论奖励模型的实现机制，包括数据准备、模型结构、训练流程，以及与DPO的对比。需要确保使用正确的LaTeX格式，如数学公式用$$...$$，变量用$...$。同时，生成相关问题时要覆盖实现细节、优化方法和应用场景。 还需要验证是否有遗漏的信息。例如，引用2提到模型压缩和硬件加速，可能影响奖励模型的实时性能，但用户主要关注实现机制，这部分可能作为优化方法的相关问题出现。引用4关于元强化学习的应用可能不直接相关，但可以作为扩展知识点。 最后，确保回答符合用户的要求，引用正确的来源，并在末尾添加相关问题。需要确认所有引用标记正确，如[^1]、[^3]等。</think>关于Llamafactory奖励模型的实现机制，其核心是通过人类偏好数据构建奖励函数，指导语言模型的强化学习训练。以下是技术实现的关键要点： ### 1. 奖励模型架构 Llamafactory采用双模型对比架构： - 基础模型：基于预训练语言模型$M_{base}$（如LLaMA-7B） - 奖励头：在$M_{base}$顶层添加可训练的全连接层$R_\phi$，将隐状态映射为标量奖励值$$ r = R_\phi(h_{[CLS]}) $$ 通过冻结基础模型参数，仅训练奖励头实现高效微调[^1] ### 2. 数据构建流程 ```python # 典型数据格式示例 preference_data = [ { "prompt": "解释量子纠缠", "chosen": "量子纠缠是粒子间...", # 专家标注回答 "rejected": "量子纠缠就像磁铁..." # 模型生成的低质量回答 }, # 更多对比样本... ] ``` 采用Bradley-Terry模型计算偏好概率：$$ P(y_1 \succ y_2|x) = \frac{\exp(r_\phi(x,y_1))}{\exp(r_\phi(x,y_1)) + \exp(r_\phi(x,y_2))} $$ ### 3. 训练目标函数 使用负对数似然损失：$$ \mathcal{L}_{RM} = -\mathbb{E}_{(x,y_w,y_l)\sim D}[\log \sigma(r_\phi(x,y_w) - r_\phi(x,y_l))] $$ 其中$\sigma$为sigmoid函数，最小化优质回答$y_w$与劣质回答$y_l$的奖励差值[^3] ### 4. 与策略模型协同 在RLHF阶段，奖励模型冻结并作为环境反馈： $$ \nabla_\theta J(\pi_\theta) = \mathbb{E}_{x\sim D,y\sim \pi_\theta}[\nabla_\theta \log \pi_\theta(y|x)(r_\phi(x,y) - \beta \log \frac{\pi_\theta(y|x)}{\pi_{ref}(y|x)})] $$ 其中$\beta$为KL散度约束系数[^1] ### 5. DPO替代方案 对于无需显式奖励模型的场景，Llamafactory支持直接偏好优化： $$ \mathcal{L}_{DPO} = -\mathbb{E}_{(x,y_w,y_l)} \left[ \log \sigma\left( \beta \log \frac{\pi_\theta(y_w|x)}{\pi_{ref}(y_w|x)} - \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)} \right) \right] $$ 通过策略模型$\pi_\theta$直接隐式学习奖励函数[^3]
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值