15、分层概率模型的抽象细化方法解析

分层概率模型的抽象细化方法解析

1. 引言

在处理分层马尔可夫决策过程（hMDP）时，为了得到更精确的结果，需要对合适的区域进行细化。本文将介绍两种细化方法：个体细化和基于集合的细化，并通过实验验证方法的有效性。

2. 个体细化与枚举基线的随时版本

在hMDP中，通过在区域 [[u−, u+]] 上分析 ν(M) 来得到边界。为了收紧这些边界，首先要细化合适的区域。具体做法是分析各个子MDP Mi ，计算 resi ，从而得到 x ∈∪jpi,j ∪qi 时的 u∗(x) 。这样可以细化合适的边界，使得 x ∈∪jpi,j ∪qi 时， u−(x) = u∗(x) = u+(x) ，这种细化称为个体细化。由于子MDP数量有限，经过有限步骤后可以得到 lb = ub 。

枚举基线的随时版本是对任意子MDP子集进行个体细化，然后分析不确定的宏观MDP ν(M) 。

3. 基于集合的子MDP分析

为了提供一种替代的细化过程，我们可以同时分析一组子MDP，即一次性细化一组参数的合适边界。将所有子MDP的目标状态集记为 G 。

3.1 适当的抽象

我们的目标是为一组子MDP的结果计算合理的边界，使得这些边界对该集合中的每个子MDP都是合理的。将定义推广如下