22、马尔可夫链：理论、应用与实践

马尔可夫链：理论、应用与实践

1. 引言

在实际的随机过程中，样本之间往往存在一定的依赖关系。为了更全面地描述这种依赖关系，我们引入了马尔可夫链的概念。马尔可夫链是一种离散时间、离散取值的随机过程，其特点是在给定过去所有结果的情况下，当前时刻的概率分布仅依赖于上一时刻的结果。

1.1 高尔夫示例

以高尔夫运动中的推杆为例，假设一位高尔夫球手在一轮比赛开始时，一杆进洞的概率为 50%。如果她在第 n 洞一杆进洞，那么在第 n + 1 洞一杆进洞的概率仍为 50%；如果没有一杆进洞，那么在第 n + 1 洞一杆进洞的概率降为 25%。我们用 (X[n] = 1) 表示在第 n 洞一杆进洞，(X[n] = 0) 表示未一杆进洞。

通过这个示例，我们可以得到以下条件概率：
- (P[X[n] = 1|X[n - 1] = 0] = \frac{1}{4})
- (P[X[n] = 1|X[n - 1] = 1] = \frac{1}{2})

同时，初始概率 (P[X[0] = 1] = \frac{1}{2})。这些概率可以用矩阵和向量表示：
- 转移概率矩阵 (P = \begin{bmatrix} \frac{3}{4} & \frac{1}{4} \ \frac{1}{2} & \frac{1}{2} \end{bmatrix})
- 初始状态概率向量 (p[0] = \begin{bmatrix} \frac{1}{2} \ \frac{1}{2} \end{bmatrix})

1.2 马尔可夫链的定义

对于一个离散时间随机过程 (X[n