统计学习方法_读书笔记_10章_HMM

HMM是一种生成模型.描述了隐含的马尔科夫链随机生成观测序列的过程.
所以HMM=隐含的马尔科夫链->随机生成的观测序列.
更具体的说,HMM=隐含的马尔科夫链->随机生成状态序列->随机生成观测序列

基本概念

定义

$$\lambda=(A,B,\pi)$$
我理解,状态序列和观测序列都是离散可枚举的.
感觉中间也有隐变量.那它和EM算法可以找到什么区别呢?其中一个是,HMM是和顺序有关的,EM算法和顺序基本无关.

HMM的3个基本问题

1. 概率计算问题
2. 学习问题
3. 预测问题.语音识别就是这个问题.

这三个问题哪个简单哪个容易呢

概率学习问题

已知$\lambda=(A,B,\pi)$和观测序列$O=(o_1,o_2,...,o_T)$,计算$O$出现的概率$P(O|\lambda)$.

暴力计算法

观察我们要求的问题$P(O|\lambda)$,可以拆分成$P(O,I|\lambda)$,然后对$I$求和.这种方式需要枚举出所有可能的隐含序列.

$$P(I|\lambda)=P(i_1,i_2,...,i_T|\lambda)=\pi a_{{i_1}{i_2}} a_{{i_2}{i_3}} ... a_{{i_{T-1}}{i_T}}$$

$$P(O,I|\lambda)=\pi a_{{i_1}{i_2}} o_{{}} a_{{i_2}{i_3}} ... a_{{i_{T-1}}{i_T}}$$
这个复杂度是$O(Tk)$