4、连续时间马尔可夫决策过程的有界聚合方法

连续时间马尔可夫决策过程的有界聚合方法

1. 基础概念

在随机模型的研究中，连续时间马尔可夫决策过程（CTMDP）是一个重要的概念。CTMDP 被定义为一个元组 ${S, A, (Q_a) {a\in A}, (r_a) {a\in A}, p}$，其中：
- $S$ 是一个有限状态集，状态数量为 $n$，可编号为 $S = {1, \ldots, n}$。
- $A$ 是一个有限动作集，动作数量为 $m$，编号为 $A = {1, \ldots, m}$。
- $Q_a \in \mathbb{R}^{n\times n}$ 是转移率矩阵，$Q_a(i, j)$ 表示当选择动作 $a$ 时，从状态 $i$ 转移到状态 $j$ 的转移率。需要满足 $Q_a \mathbf{1} = 0$ 且当 $i \neq j$ 时，$Q_a(i, j) \geq 0$。
- $p \in \mathbb{R}^{1\times n}$ 是初始概率分布向量。
- $r_a \in \mathbb{R}^{n\times 1}$ 是奖励率向量。

为了优化 CTMDP 的性能，我们定义了决策规则和策略。决策规则 $u_t : S \to A$ 是在时间 $t$ 时将动作分配给状态的映射。策略 $\pi = (u_0, u_1, \ldots, u_T)$ 是一系列决策规则，这里我们只考虑与时间无关的纯策略，用向量 $\pi \in A^S$ 表示。当 MDP 处于状态 $s$ 并选择动作 $a$ 时，它以速率 $r_{\pi(t,s)}(s)$ 积累奖励，在该状态的停留时间服从速率为 $-Q_{\pi(t,s)}(s, s)$ 的指数分布，转移到