Unleashing Embodied Task Planning Ability in LLMs via Reinforcement Learning

文章主要内容总结

本文针对大型语言模型（LLMs）在具身任务规划中存在的不足，提出了一种基于强化学习的框架Embodied Planner-R1，旨在通过自主探索提升LLMs的交互式规划能力。

现有方法依赖静态知识生成开环动作脚本，难以学习动作与环境反馈的因果关系，尤其在部分可观测环境中表现不佳。Embodied Planner-R1通过三个核心创新解决这些问题：

1. 群体滚动（Group Rollout）：无需人类标注，通过并行探索实现环境内交互，高效积累多样化的交互轨迹；
2. 完成驱动的稀疏奖励：仅基于任务是否完成给予奖励（完成得1分，未完成得0分），避免奖励欺骗，鼓励自主探索；
3. 交互式策略优化（IPO）：针对多轮ReAct式轨迹设计，通过群体归一化优势估计和KL散度正则化，高效利用群体轨迹进行策略更新，解决长序列训练中的概率退化问题。

实验在两个文本型具身规划基准（ALFWorld和ScienceWorld）上进行，结果显示：Embodied Planner-R1在ALFWorld上的任务完成率达97.78%，在ScienceWorld上达79.92%，显著优于现有方法；且在未见过的环境中仅下降3.66%，泛化能力强。

创新点总结