2025_NIPS_Progress Reward Model for Reinforcement Learning via Large Language Models

文章核心总结与翻译

一、主要内容

该研究针对传统强化学习（RL）在处理长期稀疏奖励任务时的局限性，提出了一种融合高层规划与低层奖励塑造的新型框架——强化学习进度奖励模型（PRM4RL）。核心内容包括：

1. 问题背景：传统RL依赖专家数据或监督，扩展性受限；现有基于大语言模型（LLM）的RL方法分为"LLM作为规划器"（仅关注高层任务分解，缺乏有效低层指导）和"LLM作为奖励生成器"（未进行任务分解，奖励函数构建复杂）两类，均存在单一维度优化的缺陷。
2. 框架设计：
   • 高层规划：通过LLM将复杂任务分解为"动词+名词"格式的子任务，设计子任务判定函数Ψ实时跟踪当前执行阶段，避免频繁调用LLM。
   • 低层奖励生成：基于势函数理论，设计细粒度进度函数Φ监测任务执行进度，构建进度奖励模型（PRM），生成具有最优性和收敛性保证的稠密奖励信号。
   • 强化学习增强：通过句子编码器将子任务先验嵌入状态空间，结合PRM奖励形成增强型MDP，采用SAC和PPO算法优化策略。
3. 实验验证：在Metaworld和Maniskill机器人控制环境中，PRM4RL在复杂任务（如拾取孔洞中的物体）上达到近100%成功率，显著优于ELLM、Text2Reward等基线方法，且在 unseen 任务上表现出更强的泛化能力。

二、创新点

1. 双维