22、马尔可夫决策过程中的目标预测与负延迟分析

马尔可夫决策过程中的目标预测与负延迟分析

1. 马尔可夫决策过程基础

在马尔可夫决策过程（MDP）中，一些属性可以通过对非确定性的可能解决方案进行遍历得到。最小概率和最大概率的计算公式如下：
[Pr_{M,s}^{min}\langle\phi\rangle = \inf_{\sigma} Pr_{\sigma_{M,s}}\langle\phi\rangle]
[Pr_{M,s}^{max}\langle\phi\rangle = \sup_{\sigma} Pr_{\sigma_{M,s}}\langle\phi\rangle]

分位数是指使得随机变量 $Q$ 超过 $q$ 的概率超过给定阈值的最优值 $q$。在 MDP 模型中，我们考虑在非确定性的最坏和最好情况下，最小化成本（如消耗的时间）的分位数。

• 下界分位数定义：对于给定的概率阈值 $\vartheta \in [0, 1]$，状态 $s$ 下关于 $\vartheta$、$\phi$ 和 $\psi$ 的下界分位数为：
  [max{c \in N | Pr_{M,s}^{min}(\phi U^{\geq c}\psi) \geq \vartheta}]
  该分位数指定了从状态 $s$ 开始的路径，为了保证以大于 $\vartheta$ 的概率到达 $\psi$ 成立的状态，并且仅通过满足 $\phi$ 的状态，且至少花费 $c$ 的最小成本。

• 上界分位数定义：
  [min{c \in N | Pr_{M,s}^{min}(\phi U^{\leq c}\psi) \geq \vartheta}]

  <