35、从删失转移数据中估计马尔可夫链参数

从删失转移数据中估计马尔可夫链参数

在实际应用中，我们常常会遇到数据被删失的情况，例如在某些状态无法被观测到，或者观测之间的步数未知。这给马尔可夫链的参数估计带来了挑战。本文将介绍一种利用删失马尔可夫链（CMC）来估计原始马尔可夫链参数的方法，并通过实验验证其有效性。

1. 删失马尔可夫链的定义

删失马尔可夫链（CMC）是指仅在马尔可夫链处于可观测状态集合 (O) 时所观察到的马尔可夫链。设 ({σ_t; t = 0, 1, 2, · · · }) 是一个序列，其中 (σ_0 = 0)（如果 (X_0 ∈ O)），否则 (σ_0 = \inf{m ≥ 1 : X_m ∈ O})，且 (σ_t = \inf{m > σ_{t - 1} : X_m ∈ O})。删失马尔可夫链 ({X^c_t ; t = 0, 1, 2, · · · }) 定义为一个随机过程，使得 (X^c_t := X_{σ_t})。

为了方便表示，我们将状态重新排序，使得转移概率矩阵 (P) 和初始概率向量 (q) 可以表示为：
[
P =
\begin{bmatrix}
O & U \
P_{oo} & P_{ou} \
P_{uo} & P_{uu}
\end{bmatrix}
,
q =
\begin{bmatrix}
O \
U \
q_o \
q_u
\end{bmatrix}
]
其中 (P_{oo})、(P_{ou})、(P_{uo})、(P_{uu}) 的大小分别为 (|O| × |O|)、(|O|