2025_NIPS_Efficient Preference-Based Reinforcement Learning: Randomized Exploration Meets Experiment

文章核心总结

本文聚焦基于人类反馈的强化学习（RLHF），针对传统RLHF存在的计算复杂度高、人类反馈需求量大等问题，提出了结合随机探索与实验设计的元算法。核心贡献是设计了3类兼具理论保证与实用性的算法，在通用马尔可夫决策过程（MDP）中实现了次线性遗憾或PAC-style保证，同时通过批量处理和最优实验设计减少反馈查询量，实证表明算法性能比肩基于奖励的强化学习，且所需偏好查询更少。

---

主要创新点

1. 双元算法框架：提出RPO-Regret（最小化累积遗憾）和RPO-Explore（偏好无关探索），分别提供遗憾界和PAC-style保证，且不局限于特定MDP类型（如线性MDP）。
2. 高效实用算法：设计LRPO-OD-Regret，通过惰性更新实现偏好查询并行化，结合D-最优实验设计筛选高信息价值的轨迹对比，大幅降低人类标注工作量。
3. 理论突破：在温和的RL预言机假设下，为所有算法提供严格的理论保证，RPO-Regret的遗憾界为O(κd3Tlog(dT/δ)3)\mathcal{O}(\sqrt{\kappa d^3 T log (dT/\delta)^3})