2025_NIPS_Uncertainty-Based Smooth Policy Regularisation for Reinforcement Learning with Few Demonst

文章核心总结

主要内容

该研究针对稀疏奖励强化学习中演示数据利用率低的问题，提出SPReD（Smooth Policy Regularisation from Demonstrations）框架。通过集成评论家网络建模Q值分布，量化演示动作与智能体当前策略动作的不确定性，采用连续权重调节行为克隆损失，而非传统二进制决策，在8个机器人任务中实现显著性能提升，复杂任务成功率最高达传统方法的14倍，且对演示数据的质量和数量具有强鲁棒性。

核心创新点

1. 不确定性感知的连续正则化：摒弃Q-filter的二进制模仿决策，基于集成Q值分布计算连续权重，平滑调节演示数据对策略更新的影响，降低梯度方差。
2. 两种互补加权方法：
   • SPReD-P：概率加权法，估算演示动作优于当前策略的可能性（基于高斯分布建模Q值）。
   • SPReD-E：指数加权法，根据优势的统计显著性缩放模仿强度（基于四分位距校准不确定性）。
3. 高效集成设计：集成评论家网络同时用于目标计算和不确定性估计，计算效率与标准RL方法相当，无需额外大量算力。

---

翻译部分（Markdown格式）

Abstract

在稀疏奖励强化学习中，演示数据可加速学习，但如何判断何时模仿演示动作仍是一大挑战。本文提出演示