62、稀疏奖励强化学习中基于Q值的规划

稀疏奖励强化学习中基于Q值的规划

1. 引言

深度强化学习（RL）在许多领域取得了显著成功，但在物理机器人的实际应用中仍面临挑战。其中，奖励函数的设计是阻碍RL实际应用的主要因素之一。大多数RL算法依赖密集、形状良好的奖励函数，而这种奖励函数的设计既耗时又需要大量领域知识。相比之下，稀疏奖励设计简单，但由于环境反馈学习信号稀少，学习难度较大。

基于好奇心的探索和课程学习等方法在一定程度上解决了稀疏任务问题，其中后视经验回放（HER）是一项重要工作，它能将失败轨迹转化为成功轨迹，但属于无模型方法，样本效率较低。总体而言，基于模型的强化学习（MBRL）算法通过学习额外的动态模型，样本效率高于无模型算法，但渐近性能较低，且只有少数算法能解决稀疏设置问题。

为解决这些问题，本文提出了PlanQ算法，这是一种样本高效的MBRL算法，通过利用Q值的长期价值编码来解决稀疏奖励RL问题。PlanQ的主要贡献包括：
- 结合射击方法与基于Q值的无模型方法的框架。
- 一种对想象轨迹进行加权的方法，不仅包含即时奖励，还包含Q值，帮助射击算法解决稀疏奖励任务。
- 一种使用Q值重新规划策略输出的方法，加速策略的收敛速度。

2. 相关工作

将无模型和MBRL算法相结合的想法已得到广泛研究。MVE使用从学习的动态模型生成的轨迹来改进TD学习的目标估计，但滚动视野在整个训练过程中固定且需手动调整。STEVE使用模型不确定性对候选目标进行加权，以平衡学习的Q函数误差和较长模型滚动误差，其加权方式类似于λ - 返回方法。PlanQ使用的回报与STEVE和λ - 返回方法类似但更简单。

与本文方法最接近的先前工作是POP