2025_NIPS_Avoiding exp(R) scaling in RLHF through Preference-based Exploration

文章核心总结

本文聚焦在线RLHF（基于人类反馈的强化学习）的样本效率问题，提出SE-POPO算法，首次实现样本复杂度与奖励范围的多项式相关，解决了现有算法奖励范围指数级依赖的痛点，理论与实证均验证其优于现有基线算法。

主要内容

1. 研究背景：RLHF是大语言模型对齐的关键技术，在线RLHF通过实时生成样本和反馈突破离线数据限制，但现有算法（被动/主动探索）的样本复杂度随奖励范围（(R_{max})）指数增长，在偏好高度倾斜场景（如客观答案类问题）中效率极低。
2. 核心算法：
   • 提出POPO子算法，采用基于偏好的探索奖励（而非传统基于奖励的探索），实现偏好后悔与(R_{max})多项式相关。
   • 基于POPO扩展出SE-POPO，通过迭代更新采样器（而非固定参考策略），进一步消除奖励范围的指数依赖，样本复杂度为(\tilde{O}(\frac{d R_{max }^{8} log \frac{|\mathcal{R}|}{\delta}}{\epsilon^{2}}))。
3. 实验验证：在领域特定对齐、通用对齐任务及公共基准（AlpacaEval 2.0、MT-Bench）中，SE-POPO显著优于DPO、XPO等基线，且与更大参数模型（Llama-3-405B-Instruct）性能相当，同时未损失推理能力。

创新点

1. 首次提出基于偏好的探索技