2025_NIPS_STAR: Efficient Preference-based Reinforcement Learning via Dual Regularization

文章核心总结与创新点

主要内容

该文聚焦基于偏好的强化学习（PbRL）在人类反馈有限时的效率问题，提出了名为STAR的高效算法。PbRL通过人类对智能体轨迹的偏好反馈替代人工设计奖励函数，但有限反馈会导致奖励模型过拟合和时序差分（TD）学习中动作价值高估。STAR整合偏好边际正则化和策略正则化，在在线和离线场景的18个任务（涵盖移动、机器人操作等）中验证，相比现有方法，在线场景性能提升34.8%，离线场景提升29.7%，且能高效利用有限反馈实现稳定学习。

创新点

1. 提出双正则化框架STAR，首次将偏好边际正则化与策略正则化结合，同时解决奖励模型过拟合和Q值高估两大核心问题。
2. 偏好边际正则化通过引入有界边际，限制奖励模型对有限反馈的过度偏向，提升模型泛化能力。
3. 策略正则化基于回放内存中的可靠状态-动作对构建保守Q值估计，通过KL散度约束策略更新，减少价值高估偏差。
4. 兼顾在线与离线PbRL场景，在真实人类偏好数据上验证，且能引导智能体学习新颖复杂行为，具备实际应用潜力。

---

翻译部分（Markdown格式）

Abstract

基于偏好的强化学习（PbRL）通过从人类反馈中学习，绕过了复杂的奖励工程。然而，由于获取反馈的成本高昂，PbRL通常依赖有限的带偏好标签样本。这种数据稀缺性带来了两个关键效率问题：（1）奖励模型会过拟合于有限的反馈，导致对未见过样本的泛化能力不佳