14、POMDP 控制器中的最优预算与参数分析

POMDP 控制器中的最优预算与参数分析

在 POMDP（部分可观测马尔可夫决策过程）控制器的研究中，最优预算的确定以及参数的单调性分析是关键问题。本文将详细介绍相关的概念、方法和实验结果。

1. 单调性的定义

1.1 全局单调性与局部单调性

我们区分局部单调性和全局单调性。全局单调性关注整个参数化马尔可夫链（pMC）的单调性，而局部单调性仅考虑给定状态 s 及其直接后继状态的转移函数的单调性。

对于全局单调性，若连续可微函数 f 在区域 R 上关于参数 p 单调递增，记为 (f\uparrow_{R}^{p})，则对于所有 (\vec{u} \in R)，有 (\frac{\partial}{\partial p}f(\vec{u}) \geq 0)。pMC (M = (S, s_{I}, T, V, P)) 在保持图结构的区域 R 上关于参数 (p \in V) 单调递增，记为 (M\uparrow_{R}^{p})，当且仅当 (E_{R}^{s_{I} \to T} \uparrow_{R}^{p})。单调递减的定义类似。

然而，检查全局单调性是 co - ETR 困难的，因此我们主要关注参数在给定状态 s 处的局部单调性。

局部单调递增的定义为：若 (E_{R}^{s \to T}) 在区域 R 上关于参数 p（在状态 s 处）局部单调递增，记为 (E_{R}^{s \to T} \uparrow_{\ell, R}^{p})，则对于所有 (\vec{u} \in R)，有 (\left(\sum_{s’ \in succ(s)} \frac{\partial}{\partial p}P(s, s’) \cd