16、隐马尔可夫模型：原理、应用与实践

隐马尔可夫模型：原理、应用与实践

1. 引言

在许多应用场景中，样本中的实例并非相互独立。例如，在一个单词中，连续的字母是相互依赖的，英语里 “h” 很可能跟在 “t” 后面，而不是 “x”。语音识别也是如此，语音由音素组成，只有特定的音素序列才被允许，这些序列构成了语言中的单词。

为了处理这类序列数据，我们引入马尔可夫模型，将输入序列视为由参数化随机过程生成。接下来，我们将探讨如何进行建模，以及如何从示例序列中学习模型的参数。

2. 离散马尔可夫过程

2.1 基本概念

考虑一个系统，在任何时刻都处于 N 个不同状态之一：$S_1, S_2, …, S_N$。时刻 $t$ 的状态记为 $q_t$。对于一阶马尔可夫模型，时刻 $t + 1$ 的状态仅取决于时刻 $t$ 的状态，即：
$P(q_{t+1} = S_j|q_t = S_i, q_{t-1} = S_k, …) = P(q_{t+1} = S_j|q_t = S_i)$

我们进一步假设转移概率与时间无关，用 $a_{ij}$ 表示从状态 $S_i$ 转移到状态 $S_j$ 的概率，满足 $a_{ij} \geq 0$ 且 $\sum_{j=1}^{N} a_{ij} = 1$。矩阵 $A = [a_{ij}]$ 是一个 $N × N$ 的矩阵，其每行元素之和为 1。

同时，我们定义初始概率 $\pi_i$，表示序列的第一个状态是 $S_i$ 的概率，满足 $\sum_{i=1}^{N} \pi_i = 1$。

2.2 可观测马尔可夫模型

在可观测马尔可夫模型中，状态是可观测的。观测