2025_NIPS_Scalable Policy-Based RL Algorithms for POMDPs

文章核心总结

本文聚焦部分可观察马尔可夫决策过程（POMDP）的高效求解，提出通过将POMDP近似为基于有限历史的“超级状态MDP”，结合策略优化与时序差分（TD）学习的方法，在保证理论界的同时提升计算效率与可扩展性。

主要内容

1. 问题背景：POMDP的信念状态连续性导致传统强化学习算法计算复杂，现有近似方法缺乏严格理论保证或计算成本过高。
2. 核心思路：将POMDP转化为超级状态MDP（状态为有限长度的观测-动作历史），利用标准RL算法求解，且近似误差随历史长度呈指数衰减。
3. 理论贡献：推导更紧的价值函数近似界、提出通用代数恒等式、证明标准策略优化算法的收敛性、扩展至线性函数近似场景。
4. 算法设计：结合TD学习与POLITEX算法，实现无额外计算开销的策略迭代，支持大规模状态空间。

创新点

1. 更优近似界：改进现有结果，提供POMDP与超级状态MDP最优价值函数的指数衰减误差界，且包含最坏情况保证。
2. 通用代数工具：提出新的代数恒等式，可收紧多种分析场景中的误差界（如Subramanian和Mahajan的工作）。
3. 高效算法框架：首次为标准策略优化算法（交替TD学习与策略更新）提供收敛保证，避免现有方法的高计算成本。
4. 可扩展性支持：扩展至线性函数近似，解决大规模状态空间问题，且无需遍历性假设，提供有限时间界。
5. 算法扩展：将POLITEX算法推广到折扣奖励场景，分析相对于POMDP最优价值函数的遗憾界。