Experiential Reinforcement Learning

论文总结与翻译

一、主要内容总结

本文提出体验式强化学习（Experiential Reinforcement Learning, ERL） 新范式，针对传统强化学习（含RLVR）在稀疏/延迟奖励场景下样本效率低、行为修正不稳定的核心痛点，将人类“尝试—反思—改进”的经验学习循环显式嵌入训练流程。

ERL的核心流程为四步闭环：

1. 初始尝试：模型针对任务生成首次行为轨迹，与环境交互获取反馈与奖励；
2. 结构化反思：基于尝试结果与反馈，生成包含错误原因、改进方向的自然语言反思；
3. 二次优化尝试：以反思为指导，生成修正后的第二次行为，再次交互验证效果；
4. 经验内化：通过选择性蒸馏，将两次尝试中成功的修正策略固化到基础策略中，形成可部署的高效模型。

实验在三类任务中验证有效性：推箱子（Sokoban） （稀疏奖励、长程规划）性能提升达81%，FrozenLake 提升约27%，HotpotQA （密集反馈、推理任务）提升约11%，全面优于传统RLVR基线，且学习过程更稳定、样本效率更高。

二、核心创新点

</

创新维度	具体内容