10、离散时间马尔可夫链的深入剖析

离散时间马尔可夫链的深入剖析

1. 吸收马尔可夫链

1.1 基本概念与示例

吸收马尔可夫链是一类特殊的马尔可夫链，其系统最终会进入吸收状态，从而使马尔可夫链终止。例如，考虑一个具有状态空间 ${0, 1, 2, 3, 4}$ 的 5 状态马尔可夫链，其中 ${3, 4}$ 为吸收状态，其转移概率矩阵形式如下：
[
P =
\begin{bmatrix}
q_{00} & q_{01} & q_{02} & h_{03} & h_{04} \
q_{10} & q_{11} & q_{12} & h_{13} & h_{14} \
q_{20} & q_{21} & q_{22} & h_{23} & h_{24} \
0 & 0 & 0 & 1 & 0 \
0 & 0 & 0 & 0 & 1
\end{bmatrix}
]
只有一个吸收状态的吸收马尔可夫链在表示现实生活中遇到的一些分布（如相位类型分布）时非常常见且有用。

1.2 吸收马尔可夫链的特征

1.2.1 吸收状态

对于吸收马尔可夫链，系统最终会被吸收。定义一个 $T \times (N - T)$ 矩阵 $B$，其元素 $b_{ij}$ 表示系统从暂态 $i \in T$ 开始，最终被吸收到吸收状态 $j \in A$ 的概率。通过一系列推导可得：
[
b_{ij} = \sum_{n