2025_NIPS_When is Agnostic Reinforcement Learning Statistically Tractable?

文章核心总结与创新点

主要内容

本文聚焦agnostic PAC强化学习（RL）问题，核心探究在未知马尔可夫决策过程（MDP）中，给定策略类Π时，需多少轮交互才能学到相对于Π的ε-次优策略。文章通过引入新的复杂度度量、分析不同交互模型下的可学习性，提出高效算法及附加结构假设，完整刻画了agnostic RL的统计 tractability 条件：

1. 定义了跨度容量（spanning capacity） 这一仅依赖策略类Π、与MDP动态无关的复杂度度量。
2. 证明在生成模型中，有界跨度容量是agnostic PAC RL可学习的充要条件；而在线RL中，仅靠有界跨度容量不足以实现高效学习，存在超多项式样本复杂度的反例。
3. 提出向日葵性质（sunflower property） 作为附加结构假设，结合有界跨度容量，设计了名为POPLER的高效在线RL算法，实现了统计高效的agnostic PAC学习。
4. 拓展了无限策略类的相关结果，分析了专家反馈对agnostic RL的影响。

创新点

1. 提出跨度容量这一核心复杂度度量，为agnostic RL提供了统一的分析工具，且证明其与最坏情况下的覆盖性（coverability）等价。
2. 揭示了生成模型与在线交互模型在agnostic RL可学习性上的显著差异，打破了两者性能一致的直观认知。
3. 设计POPLER算法，融合重要性采样、可达状态识别和无奖励探索技术，首