11、离散时间马尔可夫链的数值计算方法

离散时间马尔可夫链的数值计算方法

1. 引言

在实际的排队问题中，求解与马尔可夫链相关的平稳（不变）向量通常需要进行数值计算。高效地完成这些计算是运用排队结果的关键因素。下面将介绍一些计算具有特殊结构的有限和无限离散时间马尔可夫链（DTMC）不变向量的方法。假设所处理的 DTMC 是正递归的，在不必要时会指出该假设。

2. 不变向量的数值计算

在计算方法中，会区分有限状态和无限状态的马尔可夫链。主要目标是计算不变概率向量 $x$，而非极限概率向量 $y$。对于每个不可约的正递归马尔可夫链，$x$ 是存在的，因此将重点放在这类链上。

对于具有转移矩阵 $P$ 的 DTMC，要确定满足以下条件的 $x$：
$x = xP$ 且 $x1 = 1$

3. 有限状态马尔可夫链

计算 DTMC 平稳向量主要有两种方法：直接法和迭代法。
- 迭代法 ：对于大多数具有大状态空间的 DTMC（实际情况中很常见）更常用。但迭代法的计算量取决于 DTMC 的大小、结构以及初始解。
- 直接法 ：适用于较小的 DTMC，并且在求解之前就知道所需的步骤数。

3.1 直接法

将问题转化为经典的线性代数问题 $AX = b$，通过创建矩阵 $\tilde{P}$（与 $I - P$ 相同，但最后一列替换为全 1 列）来实现。对于 $N$ 状态的马尔可夫链：
$\tilde{P} = (I - P)(I - e_Ne_N^T) + 1e_N^T$
进而得到 $\tilde{P}