60、马尔可夫链：原理、应用与稳态分布

马尔可夫链：原理、应用与稳态分布

马尔可夫链基础概念

马尔可夫链是一种用于描述状态随时间转移的概率模型，其核心特性是未来状态仅依赖于当前状态，而与过去状态无关。用数学公式表示为：$P(X_t|X_0,X_1,\cdots,X_{t - 2},X_{t - 1}) = P(X_t|X_{t - n},\cdots,X_{t - 2},X_{t - 1})$。在实际应用中，我们主要考虑一阶马尔可夫链，并且可以证明，n 阶马尔可夫链能够转化为一阶马尔可夫链。

离散时间马尔可夫链

离散时间马尔可夫链 ${X_0,X_1,\cdots,X_t,\cdots}$ 中，随机变量 $X_t$（$t = 0,1,2,\cdots$）定义在离散空间 $S$ 上，其状态转移概率分布可以用矩阵来表示。

• 转移概率矩阵 ：若马尔可夫链在时刻 $t - 1$ 处于状态 $j$，在时刻 $t$ 转移到状态 $i$，则转移概率记为 $p_{ij} = P(X_t = i|X_{t - 1} = j)$，其中 $i = 1,2,\cdots$；$j = 1,2,\cdots$。转移概率矩阵 $P$ 满足 $p_{ij} \geq 0$ 且 $\sum_{i}p_{ij} = 1$，这种矩阵被称为随机矩阵，其每列元素之和为 1。例如：
  [
  P =
  \begin{bmatrix}
  p_{11} & p_{12} & p_{13} & \cdots \
  p_{21} & p_{22} & p_{23} & \cdots \
  p_{3