Training Large Language Models for Reasoning through Reverse Curriculum Reinforcement Learning

最新推荐文章于 2025-11-25 12:11:01 发布
最新推荐文章于 2025-11-25 12:11:01 发布
阅读量332 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： LLM RL Causal and Reasoning 文章标签： 语言模型 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/136868633
LLM 日更 同时被 3 个专栏收录
828 篇文章

已下架不支持订阅

Causal and Reasoning
130 篇文章
订阅专栏
LLM RL
59 篇文章
订阅专栏
本文提出R3方法，通过反向课程强化学习实现大型语言模型的推理能力提升，仅用结果监督替代过程监督。R3在多个推理任务上表现出色，无需额外数据，效果媲美更大规模或闭源模型。

本文是LLM系列文章，针对《Training Large Language Models for Reasoning through Reverse Curriculum Reinforcement Learning》的翻译。

通过逆向课程强化学习训练大型推理语言模型

摘要

在本文中，我们提出了 R 3 R^3 R3：通过反向课程强化学习进行学习推理（RL），这是一种仅使用结果监督来实现大型语言模型过程监督的新方法。将RL应用于复杂推理的核心挑战是确定一系列能产生积极回报的行动，并为优化提供适当

了解本专栏 已下架不支持订阅
UnknownBody
关注
专栏目录

已下架不支持订阅

Reinforcement Learning for Reasoning in Large Language Models with One Training Example
c_cpp_csharp的专栏
05-09 275
【论文阅读笔记】NeurIPS2020文章列表Part2
zincrain的博客
12-09 6382
Online Multitask Learning with Long-Term Memory Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting On Reward-Free Reinforcement Learning with Linear Function A.
【论文笔记】RL在LLM中的落地方法
Xixoqw的博客
04-07 1299
假设正确的推理过程有 5 步，分别构造已知前 4 步，推理最后 1 步，已知前 3 步，推理后 2 步，以此类推，难度逐渐提升的训练数据，这里的训练数据都可以通过面向结果的 reward model 来给出 reward，提升了奖励信号的密度。如Fig2所示，理想情况下，随着I轮数的增加，模型G步骤产生的策略，也能够获得更多Reward，提高最终数据集的数据质量，形成良性循环。很自然的想法，在一个问题中，采样正确的和错误的答案，然后将结果输入给模型让模型给出修改意见，最后模型能够纠正结果。
LLM论文笔记 2: What Makes Large Language Models Reason in (Multi-Turn) Code Generation?
m0_65305142的博客
02-12 414
注：本系列不包括基础的知识点讲解，为笔记/大纲性质而非教程，用于论文知识点和思想和快速记忆和回顾，更多细节建议阅读论文原文。CoT-retry 策略的效果：仅在初始尝试失败时才引入额外的推理提示，既节约了计算资源，又显著提升了多轮生成性能。将多轮代码生成与 CoT 结合，实现 Reason prompt + Instruct prompt 的。prompts 搜索。
Reinforcement Learning for Reasoning in Large Language Models with One Training Example论文解读
qq_61786525的博客
10-15 1076
单样本性能媲美全量数据：筛选出的单个样本（如π1\pi_1π1​）用于1-shot RLVR时，能使Qwen2.5-Math-1.5B模型在MATH500上的性能从36.0%提升至73.6%，在6个数学推理基准上的平均性能从17.6%提升至35.7%，与包含该样本的1209个样本的DeepScaleR子集（DSR-sub）训练效果几乎持平；且这些有效单样本对基础模型而言难度较低，无需训练即可高概率解决。
OpenAI o1: 合成数据与推理搜索
xx_nm98的博客
09-25 1315
之前我们常说的 scaling law 一般指的是 pre-train 阶段通过算力、数据、模型参数量的提升来不断提升模型智能水平。不过最近一年来看，碰到了不少瓶颈：算力上我们受限于超大规模训练集群的各种工程挑战，例如 LLaMA 3 的 paper 里就提到他们的万卡集群每两小时就会有坏卡问题出现，所以进一步拓展到 10 万卡规模的集群目前看起来难度很大。数据方面，文本数据达到 10-20T token 量级后，需要进一步在数量级上提升目前也比较困难了。
一文总览OpenAI o1相关的技术：从CoT、Quiet-STaR、Self-Correct、Self-play RL、MCTS等到类o1模型rStar-Math
热门推荐
结构之法 算法之道
10-12 5万+
可能是去年写或讲的关于ChatGPT原理的文章和课程，影响力太大了导致​​自从OpenAI o1出来后，每过两天，就有朋友问，“校长 o1啥时候出解读或课程”，实在是各个大模型项目上的事情太多，加之近期一直在抠机器人(比如本博客内连发了五篇机器人相关的文章，再不刻意强插一下比如o1，真的很难停下来)但，今天又有朋友来问，故，准备并行开写o1了一开始，我主要是看的这几个资料但随着本文越写越深，挖出来的相关资料也越来越多，我会竭尽所能，确保本文具备以下两大特征。
大型语言模型复杂推理训练：反向课程强化学习方法的应用与效果分析
10-25
内容概要：本文提出了一种新的方法R3（Learning Reasoning through Reverse Curriculum Reinforcement Learning），该方法利用只有最终结果监督（outcome supervision）的优势来模拟步骤级监督（process supervision...
【重磅整理】180篇NIPS-2020顶会《强化学习领域》Accept论文大全
深度强化学习实验室：一个“开源开放、共享共进”的强化学习学术组织。
10-13 7136
深度强化学习实验室作者：《DeepRL-Lab》 & 《AMiner.cn》联合发布来源：https://neurips.cc/Conferences/2020/编辑：DeepR...
训练大语言模型在连续潜空间中进行推理
yorkhunter的博客
12-28 1483
24年12月来自Meta和UC San diego的论文“Training Large Language Models to Reason in a Continuous Latent Space”。 大语言模型 (LLM) 仅限于在“语言空间”中进行推理，它们通常使用思维链 (CoT) 来表达推理过程，以解决复杂的推理问题。然而，认为语言空间可能并不总是推理的最佳空间。例如，大多数单词tokens主要用于文本连贯性，对推理来说并不是必不可少的，而一些关键tokens需要复杂的规划，对 LLM 构成了巨大
梯度自适应策略优化：迈向大型语言模型的多目标对齐
栖客
07-03 1176
【摘要】针对大型语言模型（LLMs）与多样化人类偏好对齐的挑战，本文提出梯度自适应策略优化（GAPO）方法。传统强化学习人类反馈（RLHF）在处理冲突偏好时存在局限，GAPO将问题建模为多目标优化，通过多梯度下降算法自适应调整各目标梯度权重，实现帕累托最优。扩展版本P-GAPO进一步融入用户偏好权重，生成定制化解决方案。理论证明GAPO具有收敛性，在Mistral-7B上的实验显示，其在有用性和无害性平衡上超越现有方法。该研究为复杂偏好对齐提供了新思路，相关成果由中科院计算所与浙江大学团队联合完成。
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 227
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
三大空间信息焕新：辉视让酒店服务、教育通知、监所管控更智能高效
CalebLXL的博客
11-24 390
走访这些场所后我发现，系统的真正价值不在于那些炫目的屏幕，而在于它构建了一套"空间信息免疫系统"——就像人体淋巴网络般，能智能识别各区域的信息需求，精准输送"营养"，快速清除"毒素"。当我们在酒店大堂不再错过末班机场大巴，在学校走廊偶遇恰好需要的竞赛通知，甚至在高墙内获得规整的信息权时，或许该重新思考：所谓智能化，本质是对空间信息代谢效率的一次外科手术式改造。这种荒诞的割裂感，正是传统信息分发模式崩溃的缩影——直到我最近走访数家采用辉视系统的场所，才意识到我们早已进入"精准信息触达"的新纪元。
（116页PPT）关于5G和新基建赋能智慧工地整体解决方案（附下载方式）
最新发布
2501_92808811的博客
11-25 282
在整体架构方面，方案以“5G智慧工地平台”为核心，依托多类感知设备（如传感器、摄像头、AI眼镜、智能安全帽等）采集数据，通过5G网络实时回传至云平台，再借助大数据、云计算、人工智能等技术进行分析处理，最终在PC、手机、监控大屏等多终端进行可视化展示。此外，文件还详细列举了传统智慧工地子系统（如深基坑监测、升降机监控、扬尘噪音监测、智能水电计量等）的功能与部署方式，并补充了如5G企业专网、实测机器人、智慧科技体验中心等延伸应用，体现出方案的系统性与前瞻性。详细资料请看本解读文章的最后内容。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 400
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 381
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 496
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
KnowledgeNavigator: Leveraging Large Language Models for Enhanced Reasoning over Knowledge Graph
09-22
《KnowledgeNavigator: Leveraging Large Language Models for Enhanced Reasoning over Knowledge Graph》聚焦于利用大型语言模型增强知识图谱推理。大型语言模型（LLM）在复杂推理和问答（QA）任务中的知识限制方面存在局限性，而KnowledgeNavigator框架利用知识图谱中的外部知识来增强LLM推理[^4]。 该框架主要包括三个阶段：问题分析、知识检索和推理。在问题分析阶段，预测推理跳数，生成相似的问题，以增强推理逻辑挖掘；知识检索阶段，根据给定的问题和大语言模型指导，从知识图谱中迭代检索和过滤相关知识；推理阶段，将检索到的知识转化为对LLM有效的提示，以此增强其推理能力。并且该框架在KGQA基准测试中优于以前的知识图谱增强LLM方法[^4]。 ```python # 以下为简单示意框架各阶段伪代码 # 问题分析 def question_analysis(question): # 预测推理跳数 hop_count = predict_hop_count(question) # 生成相似问题 similar_questions = generate_similar_questions(question) return hop_count, similar_questions # 知识检索 def knowledge_retrieval(question, llm_guide, knowledge_graph): relevant_knowledge = [] # 迭代检索和过滤相关知识 for step in range(max_steps): new_knowledge = retrieve_and_filter(question, llm_guide, knowledge_graph) relevant_knowledge.extend(new_knowledge) return relevant_knowledge # 推理 def reasoning(relevant_knowledge, llm): prompt = convert_to_prompt(relevant_knowledge) result = llm.generate(prompt) return result ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值