13、分层概率模型的抽象细化方法解析

分层概率模型的抽象细化方法解析

1. 引言

马尔可夫决策过程（MDPs）是用于对具有非确定性和概率性行为的系统进行建模的常见形式。在MDPs的验证中，一个关键问题是计算达到某个错误状态的最大概率，考虑到系统的概率性质和潜在的非确定性。目前，像Storm、Prism和Modest等概率模型检查器，大多采用值迭代的变体方法来自动计算这些最大概率。

然而，状态空间爆炸问题一直是MDPs基于模型分析的重大挑战。虽然已有一些方法试图通过利用系统的对称性、并行组合，或者寻找关键子系统来解决这一问题，但本文提出了一种不同的方法，即利用许多系统模型中自然存在的分层结构。这种分层结构在概率程序中很常见，例如网络协议程序中经常会重复调用具有相似行为的子程序。

2. 分层结构与方法思路

分层结构在很多系统中自然存在，比如机器人系统中对多个房间的检查，或者路由中对多个数据包的顺序路由。我们可以将系统的整体任务分解为有限数量的子任务，这与分层规划的思想相关，但我们在此基础上结合了抽象细化的视角，构建了一个具有严格结果保证的随时算法。

对于分层系统的基于模型分析，合适的操作模型是分层MDP，其状态空间可以划分为多个子MDP。在本文中，我们关注的是那些在子MDP中最优的策略在分层MDP中也是最优（部分）策略的情况。这一假设虽然有一定限制，但在很多有趣的场景中是成立的。基于此假设，我们可以先独立分析子MDP，然后构建正确的宏观MDP，提取子MDP分析中的转移概率和奖励。这种方法不仅可以减少最大内存消耗，而且如果相同的子MDP多次出现，还能进一步提高分析速度。

为了进一步加速分析过程，我们引入了认知不确定性的概念。在分析子MDP之前，我们可以先分析宏