2025_NIPS_Learning to Modulate pre-trained Models in RL

UnknownBody UnknownBody 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 100+累计阅读 34平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄16年
关注
原创 最新推荐文章于 2026-06-25 08:15:00 发布 34 阅读 AI 写同款· GEO 优化 ›

文章核心总结与创新点

主要内容

该研究聚焦强化学习（RL）中预训练模型适应新任务时的“灾难性遗忘”问题——即微调新任务会导致预训练任务性能大幅下降。研究首先在Meta-World（50个任务）和DMControl（16个任务）基准上联合预训练多域决策Transformer（MDDT），随后评估了全微调（FT）、参数高效微调（PEFT）、提示调优（PBT）等9种主流方法的表现，发现FT适配新任务能力强但遗忘严重，PBT能保留预训练性能但适配新任务效果差。为此提出Learning-to-Modulate（L2M）方法，通过可学习调制池调节冻结预训练模型的信息流，最终在Continual-World基准上实现SOTA性能，同时保持预训练任务表现，并公开了包含66个任务的数据集。

创新点

  1. 提出L2M方法：融合PEFT（LoRA）和PBT（L2P）的优势，通过可学习键和调制矩阵构成的调制池，根据任务上下文动态选择调制器，仅训练少量参数即可平衡新任务适配与旧任务保留。
  2. 构建多域决策Transformer（MDDT）：统一不同基准的状态/动作空间（204维状态空间），通过动作离散化和自回归预测，支持跨域任务处理。
  3. 系统评估与数据集公开：全面对比9种微调方法在单任务和持续学习场景的表现，公开包含116M转换的多域数据集，为RL领域持续学习研究提供基准。

译文（Markdown格式）

Abstract

了解本专栏 订阅专栏 解锁全文 超级会员免费看
收录于
顶会论文

当前文章被收录于：

顶会论文
919 篇文章 0 人学习

该专栏主要整理顶会相关的LLM文章

订阅专栏 查看详情
LLM RL

当前文章被收录于：

LLM RL
249 篇文章 1 人学习
订阅专栏 查看详情
标签
#人工智能 #语言模型
2025_NIPS_Can Pre-Trained Text-to-Image Models Generate Visual Goals for Reinforcement Learning? 本文提出了一种名为的方法，核心是利用预训练文本到图像生成模型和先进图像编辑技术，为强化学习（RL）机器人提供视觉目标，实现零样本机器人学习。核心痛点解决：传统机器人学习依赖专家演示、目标图像或自然语言指令，但存在数据收集繁琐、模态歧义等问题。LfVoid无需领域内训练数据（零样本），直接通过自然语言指令编辑原始观测图像生成目标图像，为RL智能体提供明确奖励信号。方法架构视觉目标生成。 阅读详情

相关推荐

2025_NIPS_Behavior Injection: Preparing Language Models for Reinforcement Learning

本文聚焦大语言模型（LLMs）强化学习（RL）微调效果不一致的问题，通过分析RL目标的每步影响，提出关键影响因素：RL信息丰富的rollout准确率和数据共影响系数。基于此，设计了任务无关的数据增强方案BRIDGE（行为注入数据增强），在监督微调（SFT）阶段注入探索性和利用性行为，让模型更“适配RL”。在iGSM和PromptBench两个推理基准上的实验表明，BRIDGE能显著提升RL微调后的模型性能，且在分布内和分布外任务中均表现优异。

UnknownBody_2的博客 49

2025_NIPS_Flow-GRPO: Training Flow Matching Models via Online RL

该研究提出Flow-GRPO，是首个将在线策略梯度强化学习（RL）融入流匹配（Flow Matching）模型的方法，核心目标是解决流匹配模型在复杂文本到图像（T2I）生成任务中（如组合生成、文本渲染）的性能短板，同时避免“奖励作弊”（即不牺牲图像质量和多样性）。首次融合在线RL与流匹配模型：通过ODE-to-SDE转换解决流模型确定性与RL随机性的核心冲突，验证了在线RL对流匹配模型的有效性；高效采样机制：提出去噪步骤缩减策略，突破流模型采样效率低的瓶颈，使在线RL适配图像生成任务；稳健的奖励优化。

UnknownBody_2的博客 175

2025_NIPS_Beyond Verifiable Rewards: Scaling Reinforcement Learning in Language Models to Unverifiab

我们提出一种名为JEPO（用于策略优化的詹森证据下界）的新型算法，将强化学习扩展到不可验证数据场景。现有大多数针对语言模型的强化学习扩展方法均聚焦于可验证数据——这类数据的真实答案通常为短文本且易于匹配，但我们研究的场景中，此类假设不再成立（例如，答案为数学证明等长文本的情况）。为在现有训练约束下实现强化学习在不可验证数据上的规模化训练，我们设计了JEPO算法。该算法应用詹森证据下界（一种对证据下界的实用简化形式），将思维链视为生成过程中的潜变量。

UnknownBody_2的博客 46

2025_NIPS_Progress Reward Model for Reinforcement Learning via Large Language Models

传统强化学习（RL）算法在处理具有稀疏奖励的长期任务时面临显著局限性。近年来的研究进展利用大型语言模型（LLMs）的世界知识进行任务规划和奖励生成，从而增强强化学习的性能。然而，基于规划的方法通常依赖预定义的技能库，且无法优化低层控制策略；而基于奖励的方法由于任务复杂性，需要大量的人类反馈或穷尽式搜索。本文提出了强化学习进度奖励模型（PRM4RL），这是一种融合任务规划和稠密奖励的新型框架，用于增强强化学习的性能。

c_cpp_csharp的专栏 192

2025_NIPS_Learning When to Think: Shaping Adaptive Reasoning in R1-Style Models via Multi-Stage RL

该研究针对大型推理模型（LRMs）在简单问题上存在的“过度思考”问题（即生成冗余推理步骤导致计算开销大、延迟高），提出了一种名为AutoThink的自适应推理框架，核心目标是让模型根据问题复杂度动态选择“思考模式”（显式分步推理）或“不思考模式”（简洁直接响应），实现准确性与效率的平衡。大型推理模型（LRMs）擅长在生成最终答案前产出显式、分步的推理序列。然而，这种详细推理会带来巨大的计算开销和延迟，尤其在处理简单问题时。

UnknownBody_2的博客 107

2025_NIPS_S-GRPO: Early Exit via Reinforcement Learning in Reasoning Models

随着测试时缩放（Test-Time Scaling）成为大语言模型领域的研究热点，先进的训练后方法日益强调延长思维链（CoT）生成长度，从而提升推理能力以接近Deepseek R1类推理模型。然而，近期研究表明，即使是Qwen3等推理模型，在思维链生成中仍存在严重的思维冗余问题。这种“过度思考”源于传统结果奖励强化学习的固有局限——这类方法系统性地忽视了对中间推理过程的调控。

UnknownBody_2的博客 218

2025_NIPS_d1: Scaling Reasoning in Diffusion Large Language Models via Reinforcement Learning

近年来，大型语言模型（LLMs）已展现出强大的推理能力，这得益于在线强化学习（RL）。这些能力主要在左到右的自回归（AR）生成范式中得到验证。相比之下，基于扩散的非自回归范式以粗到细的方式生成文本。尽管近期的扩散型大型语言模型（dLLMs）已取得与自回归模型相当的语言建模性能，但dLLMs能否利用LLM推理领域的最新进展仍不明确。为此，我们提出d1框架，通过监督微调（SFT）与强化学习的结合，将预训练的掩码dLLMs适配为推理模型。

c_cpp_csharp的专栏 41

2025_NIPS_Reinforcement Learning for Reasoning in Large Language Models with One Training Example

我们证明，使用单个训练样本的可验证奖励强化学习（1-shot RLVR）能有效激发大语言模型（LLMs）的数学推理能力。将RLVR应用于基础模型Qwen2.5-Math-1.5B，我们发现一个单一样本可将模型在MATH500基准上的性能从36.0%提升至73.6%（较格式修正额外提升8.6%），并将6个常见数学推理基准的平均性能从17.6%提升至35.7%（非格式相关增益7.0%）。

c_cpp_csharp的专栏 44

2025_NIPS_Teaching Language Models to Reason with Tools

大型推理模型（LRMs）如OpenAI-o1在自然语言推理方面展现出令人印象深刻的能力。然而，这些模型在处理复杂数学运算时常常表现出低效或不准确的问题。尽管整合代码解释器（CIs）等计算工具提供了一种有前景的解决方案，但它也带来了一个关键挑战：模型内部的概率推理与代码解释器提供的外部确定性知识之间存在冲突，这往往导致模型陷入无效的深思。为克服这一问题，我们提出了CoRT（代码优化推理训练），这是一个旨在教会LRMs有效利用代码解释器的后训练框架。

UnknownBody_2的博客 165

2025_NIPS_Structured State Space Models for In-Context Reinforcement Learning

结构化状态空间序列（S4）模型近年来在长程序列建模任务上取得了最先进的性能。这些模型还具有快速推理速度和可并行训练的特点，使其在许多强化学习场景中具有潜在的实用性。我们对S4的一个变体（S5）进行了修改，使其能够并行初始化和重置隐藏状态，从而能够处理强化学习任务。我们表明，我们的改进架构在序列长度方面的渐近运行速度快于Transformer，并且在简单的基于记忆的任务上表现优于RNN。我们在一组部分可观测环境上评估了改进后的架构，发现在实际应用中，我们的模型不仅性能优于RNN，运行速度还快了五倍以上。

c_cpp_csharp的专栏 19

2025_NIPS_Learning World Models with Identifiable Factorization

在高维、嘈杂且非平稳的环境中，提取稳定且紧凑的环境表征对于高效强化学习至关重要。此类环境中存在不同类别的信息——如何有效提取和分离这些信息仍是一个具有挑战性的问题。本文提出IFactor，这是一个通用框架，用于建模四类不同的潜在状态变量，这些变量基于其与动作和奖励的交互关系，捕捉强化学习系统中的各类信息。我们的分析确立了这些潜在变量的块可识别性，这不仅提供了稳定且紧凑的表征，还揭示了所有与奖励相关的因素对策略学习都具有重要意义。

c_cpp_csharp的专栏 24

2025_NIPS_Scaling Offline RL via Efficient and Expressive Shortcut Models

本文提出可扩展离线强化学习（SORL）算法，通过引入“捷径模型”（shortcut models）解决传统生成模型（扩散、流模型）在离线RL中训练低效、推理耗时的问题。核心优势是单阶段训练兼顾高效性与表达力，推理时支持序列缩放（增加推理步数）和并行缩放（最优N采样），在40个离线RL任务中优于10个基线模型，且能通过更多推理计算弥补较少的训练计算。扩散模型和流模型已成为强大的生成方法，能够建模多样化和多模态行为。

c_cpp_csharp的专栏 59

2025_NIPS_Passive learning of active causal strategies in agents and language models

核心问题：被动数据通常仅能支持相关性学习，而非因果结构学习，但语言模型等被动训练系统在交互场景（如工具使用）中展现出意外能力，因此探究被动学习能否让智能体/语言模型掌握可泛化的因果实验与利用策略。理论基础：提出“实验-利用”两阶段策略——智能体先通过实验干预识别因果结构，再利用该结构实现目标。只要测试时允许干预，被动学习可通过模仿专家轨迹掌握这一通用策略。实证验证简单因果DAG环境：智能体通过模仿专家数据，能泛化到训练中未出现的因果链路，且行为更贴近最优因果策略而非启发式方法；

UnknownBody_2的博客 14

2025_NIPS_RRHF: Rank Responses to Align Language Models with Human Feedback

基于人类反馈的强化学习（RLHF）有助于大型语言模型与人类偏好对齐，显著提升人机交互质量。InstructGPT通过监督微调（SFT）、奖励模型训练和近端策略优化（PPO）等多个阶段实现RLHF。然而，PPO对超参数敏感，且标准实现中需要多个模型，导致训练难度大且难以扩展到更大参数规模。相比之下，我们提出一种新型学习范式RRHF，该范式通过条件概率的对数对来自不同来源的采样响应进行评分，并通过排序损失学习使这些概率与人类偏好对齐。

UnknownBody_2的博客 215

2025_NIPS_Decision Stacks: Flexible Reinforcement Learning via Modular Generative Models

强化学习为序列决策的多个不同方面提供了极具吸引力的推理范式，例如指定复杂目标、规划未来观测与动作，以及评估它们的效用。然而，这些能力的综合集成带来了相互冲突的算法挑战：既要保持最大的表达能力，又要在建模选择上具备灵活性，以实现高效的学习和推理。本文提出了Decision Stacks，这是一种生成式框架，将目标条件策略智能体分解为三个生成模块。这些模块通过独立的生成模型模拟观测、奖励和动作的时间演化，可通过教师强制进行并行训练。

c_cpp_csharp的专栏 33

2025_NIPS_Reasoning Models Hallucinate More: Factuality-Aware Reinforcement Learning for Large Reaso

大型语言模型（LLMs）通过强化学习（RL）优化，在推理任务上取得了显著进步，在各类挑战性基准测试中展现出令人瞩目的能力。然而，我们的实证分析揭示了一个关键缺陷：面向推理的RL微调会显著增加幻觉的发生率。我们从理论上分析了RL训练动态，发现高方差梯度、熵诱导随机性和对虚假局部最优的敏感性是导致幻觉的主要因素。为解决这一问题，我们提出事实感知的分步策略优化（FSPO）——一种创新的RL微调算法，在每个推理步骤中融入显式事实验证。

c_cpp_csharp的专栏 36

逆向实战：基于内存态匿名段分析的 DexProtector 检测绕过策略

本文深入探讨了针对DexProtector加固方案的Frida检测绕过策略。通过分析运行时动态加载到匿名内存段的核心检测逻辑，提出了一套基于内存态分析、定位并转储匿名可执行段，进而通过精准Hook与“等式化替换”等技术实现稳定绕过的实战方法。该方法不仅适用于DexProtector，也对采用类似内存隐藏技术的加固方案具有参考价值。

ik678901的博客 517

新手如何学习车载底层嵌入式软件开发（AutoSar）

汽车嵌入式开发

ACarSoft的博客 4223

OpenCV图像去畸变实战指南：从原理到参数调优（附完整代码与效果对比）

本文深入解析了OpenCV图像去畸变的原理与实战技巧，详细对比了标准透视、鱼眼及全能型omnidir三种校正函数的核心参数调优方法。通过分析alpha、balance、centerX/Y及focalScale四大参数对输出效果的影响，并结合完整代码与效果对比图，帮助开发者精准校正镜头畸变，提升计算机视觉任务精度。

weixin_29046611的博客 341

Ubuntu24.04/20.04设置网络共享文件夹

Ubuntu20.04利用向日葵远程控制时，不能传输文件。使用linux版本QQ来传输是可以的，不过linuxqq功能真的很弱。因此，打算在Ubuntu系统中建立一个共享文件夹，可在局域网中访问。 1、新建共享文件夹 获取root权限，或者登陆root账户。可在/home文件夹（或其它文件夹）下新建一个文件夹，如share。 右击文件夹，选择“本地网络共享”菜单。按下图设置。 点击确定。如果系统已经安装了samba服务器，就可以进入第3步。如果没有，会提示安装，按提示安装，可能会出错，可进.

willhu2008的专栏 2万+

Cadence IC618/Spectre231安装避坑指南：详解环境变量配置与License管理那些事儿

本文深入解析Cadence IC618/Spectre231安装过程中的环境变量配置与License管理难题，提供从变量冲突解决到高效License管理的实用方案。针对常见的64位标识冲突、路径污染及License服务器连接问题，给出具体诊断步骤和优化建议，帮助用户构建稳定可靠的EDA环境。

weixin_33737134的博客 618

Windows本地化部署Dify完整指南

本文详细介绍了在Windows系统上本地化部署Dify的完整步骤，涵盖了Docker Desktop的安装与配置、Dify源代码的获取、环境变量的设置、服务的启动与管理、以及常见问题的解决方案。文章首先指导用户如何下载和安装Docker Desktop，并配置WSL 2功能。接着，详细说明了如何获取Dify源代码，并通过Docker Compose启动服务。文章还提供了高级配置指南，包括如何配置大语言模型和更新Dify版本。最后，针对Docker镜像拉取失败等常见问题，提供了详细的诊断和解决方案。通过本文，

jacky_zhuyuanlu的博客 1万+

Anki小白必看：手把手教你打造高颜值个性化笔记模板（附Leaflyer模板下载）

本文为Anki新手提供详细的个性化笔记模板设计指南，从基础配置到高级定制技巧，帮助用户打造高效记忆系统。特别推荐Leaflyer模板下载，通过视觉优化和功能强化，显著提升学习体验和记忆效率。

weixin_28717969的博客 433

33、AI赋能5G/6G通信：LDPC码解码与强化学习技术解析

本文探讨了基于AI和强化学习的LDPC码技术在5G/6G通信中的应用。包括LAMS解码器、神经MS解码器、盲识别方法、统一极性-LDPC解码器、NNMS和SNNMS解码器、N-2D-NMS解码器、神经分层MS解码器、MAB-NS方案以及强化学习与MCTS结合的技术。这些技术在提升解码性能、降低计算复杂度和增强系统适应性方面表现出色，为未来通信系统的发展提供了强有力的支持。

lambda的博客 246

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android：LinePhone3.2.7(最新版本)，官网地址：http://www.linphone.org/

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox（带书签），MATLAB统计学习工具
上一篇： 2025_NIPS_Scalable Transformer for PDE Surrogate Modeling
下一篇： 2025_NIPS_Language Models Can Improve Event Prediction by Few-Shot Abductive Reasoning
点赞 0
评论 0
书签 书签 0
UnknownBody
UnknownBody
博客等级 码龄16年 5601粉丝 4749原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值