8、序列数据建模与机器学习案例实践

序列数据建模与机器学习案例实践

1. 序列数据建模基础

1.1 隐马尔可夫模型（HMM）参数估计

在监督学习场景下，如果已知训练数据，我们可以通过计算不同概率来估计能生成该数据的 HMM 参数。具体计算方式如下：
- 转移概率矩阵 (A) 的元素 (A_{i,j}) 估计 ：通过统计状态 (s_j) 紧跟状态 (s_i) 出现的次数来计算，公式为 (A_{i,j} = P(s_j|s_i) = \frac{Count(s_j,s_i)}{Count(s_i)})。
- 数组 (b(k)) 的元素 (b_j(k)) 估计 ：统计观察状态 (v_k) 与隐藏状态 (s_j) 同时出现的次数，公式为 (b_j(k) = P(v_k|s_j) = \frac{Count(v_k,s_j)}{Count(s_j)})。
- 初始概率 (\pi_i) 计算 ：公式为 (\pi_i = P(q_1 = s_i) = \frac{Count(q_1 = s_i)}{Count(q_1)})。

若仅提供观察序列 (O)，需要学习使该序列概率最大化的模型，这属于无监督学习问题，可使用期望最大化（EM）算法的一种变体——鲍姆 - 韦尔奇（Baum - Welch）算法来解决。

1.2 条件随机场（CRF）

1.2.1 CRF 与 HMM 的关系

在序列建模领域，条件随机场（CRF）与隐马尔可夫模型（HMM）的关系类似于朴素贝叶斯与逻辑回归的关系。HMM 在有效建模输入或观察状态之间的依赖关