2025AAAI-Revelations: A Decidable Class of POMDPs with Omega-Regular Objectives

文章主要内容与创新点总结

一、主要内容

1. 研究背景：部分可观察马尔可夫决策过程（POMDPs）是序贯决策中不确定性建模的核心模型，但针对其ω-正则目标（含线性时序逻辑可表达的性质）的几乎必然策略（以概率1满足规范）存在性问题，即使是简单子类（如CoBüchi目标）也具有不可判定性，现有研究多聚焦近似算法。
2. 核心概念：引入“揭示机制”（revelation mechanism），要求智能体几乎必然最终获得当前状态的完整信息，通过限制信息损失累积解决不可判定性根源。基于该机制定义两类POMDPs：弱揭示型（weakly revealing）和强揭示型（strongly revealing）。
3. 关键结果：
   • 弱揭示型POMDPs：对优先级为{0,1,2}的 parity 目标（含Büchi和CoBüchi目标），几乎必然策略存在性问题是EXPTIME完全的；但优先级扩展到{1,2,3}时该问题不可判定。
   • 强揭示型POMDPs：对任意 parity 目标，几乎必然策略存在性问题均为EXPTIME完全的，且强揭示性可通过多项式时间验证。
   • 信念支持MDP（belief-support MDP）：两类揭示型POMDPs的可判定性均可归约为该有限抽象模型的分析，为设计精确算法提供基础。
4. 延伸与验证：提出POMDP的“乐观语义”（通过扩展模型引入揭示信号），证明其强揭示性及与原模型