9、离散时间马尔可夫链全解析：从基础到应用

离散时间马尔可夫链全解析：从基础到应用

1. 离散时间马尔可夫链基础

在考虑离散时间马尔可夫链（DTMC）时，我们先从一个简单的例子开始。当缓冲区空间无限时，状态大小是可数无穷的，其转移矩阵 $P$ 如下：
$P =
\begin{bmatrix}
\overline{a} & a \
\overline{a}b & \overline{a}\overline{b} + ab & a\overline{b} \
\overline{a}b & \overline{a}\overline{b} + ab & a\overline{b} \
\overline{a}b & \overline{a}\overline{b} + ab & a\overline{b} & \cdots \
\cdots & \cdots & \cdots
\end{bmatrix}$

2. 查普曼 - 柯尔莫哥洛夫方程

设 $P(n)$ 是一个矩阵，其 $(i,j)$ 元素表示系统在初始处于状态 $i$（即时间为 0 时），在第 $n$ 次转移时处于状态 $j$ 的概率，那么 $P(n) = P^n$，即 $P(n)$ 是系统的 $n$ 阶转移矩阵。

具体来说，设 $p_{ij}^{(n)}$ 是 $P(n)$ 的 $(i,j)$ 元素，则有：
- $p_{ij}^{(2)} = \sum_{v \in I} p_{iv}p_{vj}$
- $p_{ij}^{(3)} = \sum_{v \in I} p_{iv}^