2025_NIPS_Model-Free Active Exploration in Reinforcement Learning

文章总结与翻译

一、主要内容

本文聚焦强化学习中的探索问题，核心目标是设计无需依赖环境模型（模型无关）的高效探索策略，以最少样本快速识别近优策略（Best Policy Identification, BPI）。

1. 研究背景：现有样本最优探索算法多为模型依赖型，需估计环境模型（如MDP-NAS、PSRL），计算成本高且难以扩展到大规模状态空间；而模型无关方法（如Q-UCB）未充分利用实例特定信息，探索效率有限。强化学习中探索的核心挑战包括：模型依赖方法的计算复杂性、非凸优化问题的难解性、环境参数的初始未知性。

2. 核心思路：从信息论视角出发，基于近优策略识别的实例特定样本复杂度下界，推导可通过模型无关方法学习的近似表达式——该表达式仅依赖Q函数和价值函数方差等可通过随机近似方法推断的量，规避了对环境模型的依赖。

3. 算法设计：

   • 提出MF-BPI（Model Free Best Policy Identification） 算法，适用于表格型MDPs，通过集成 Bootstrap 技术处理参数不确定性，无需强制探索（ε-soft策略）即可保证探索效率；
   • 扩展得到DBMF-BPI（Deep Bootstrapped Model Free BPI），适用于连续状态空间MDPs，结合先验网络机制处理数据外不确定性，适配深度强化学习场景。