61、马尔可夫链与马尔可夫链蒙特卡罗方法详解

马尔可夫链与马尔可夫链蒙特卡罗方法详解

马尔可夫链基础

马尔可夫链是一种随机过程，在许多领域都有广泛应用。下面我们将详细介绍马尔可夫链的相关概念和性质。

马尔可夫链的平稳分布

马尔可夫链的平稳分布是一个重要概念。例如，对于图中所示的马尔可夫链，其转移概率分布如下：
[
P =
\begin{bmatrix}
1 & \frac{1}{3} & 0 \
0 & \frac{1}{3} & 0 \
0 & \frac{1}{3} & 1
\end{bmatrix}
]
该马尔可夫链的平稳分布不唯一，像
[
\pi =
\begin{bmatrix}
\frac{3}{4} & 0 & \frac{1}{4}
\end{bmatrix}^T
]
和
[
\pi =
\begin{bmatrix}
\frac{2}{3} & 0 & \frac{1}{3}
\end{bmatrix}^T
]
等都是其平稳分布。一般来说，马尔可夫链可能有唯一的平稳分布、无限多个平稳分布，或者没有平稳分布。当离散时间马尔可夫链具有无限状态时，可能不存在平稳分布。

连续时间马尔可夫链

连续时间马尔可夫链(X = {X_0, X_1, \cdots, X_t, \cdots})，随机变量(X_t)（(t = 0, 1, 2, \cdots)）定义在连续时间空间