第十章隐马尔科夫模型.10.2 前向算法

本课程来自深度之眼，部分截图来自课程视频以及李航老师的《统计学习方法》第二版。
公式输入请参考： 在线Latex公式

导入

为了解决概率计算时间复杂度过高的问题，通常我们使用前向后向结合的算法来求解。最终复杂度为：$O(T{N}^2)$.先引入新变量：
$${\alpha }_t(j)=P(o_1,\cdots ,o_t{i}_t=q_j|\lambda ),j=1,2,\cdots ,N$$
变量的意思是，在$t$时刻为止，观测序列为$o_1,o_2,\cdots ,o_t$，且状态为$q_i$的概率，也叫前向概率。

前向算法

输入：隐马尔可夫模型参数$\lambda$，观测序列$O$
输出：观测序列概率$P(O|\lambda )$
步骤：
1.求初值
$${\alpha }_1(i)={\pi }_i{b}_i(o_1),,i=1,2,\cdots ,N$$
2.递推 对$t=1,2,\cdots ,T-1$
$${\alpha }_{t+1}(i)=\left[\sum _{j=1}^N{\alpha }_t(j)a_{ji}\right]b_i(o_{t+1})$$
${\sum }_{j=1}^N{\alpha }_t(j)a_{ji}$中$a_{ji}$表示前一时刻是$q_j$状态，后一个时刻是$q_i$状态；前一时刻状态有N种，所以前一时刻的前向概率${\alpha }_t(j)$也有N种。

3.终止
$$\begin{gathered} P(O|\lambda )=P(o_1,\cdots ,o_t|\lambda ) \\ =\sum _{i=1}^{N}P(o_1,\cdots ,o_T,i_T=q_i|\lambda )=\sum _{i=1}^N{\alpha }_T(i) \end{gathered}$$
可以理解为最后$T$时刻可嫩会有N种隐藏状态$q_i$，在参数$\lambda$的条件下，可能会生成观测值$o_T$，把这N种状态生成观测值$o_T$的概率累加起来。

后向算法

引入变量
$${\beta }_t(i)=P(o_{t+1,\cdots ,o_T}|i_t=q_i,\lambda ),i=1,2,\cdots ,N$$
意思是时刻$t$，状态为$q_i$，参数为$\lambda$的条件下，观测序列为：$o_{t+1,\cdots ,o_T}$的概率

输入：隐马尔可夫模型参数$\lambda$，观测序列$O$
输出：观测序列概率$P(O|\lambda )$
步骤：
1.求初值
$${\beta }_T(i)=1,i=1,2,\cdots ,N$$
2.递推
$${\beta }_t(i)=\sum _{j=1}^N{a}_{ij}{b}_j(o_{t+1}){\beta }_{t+1}(j),i=1,2,\cdots ,N$$

3.终止
$$P(O|\lambda )=\sum _{i=1}^N{\pi }_i{b}_i(o_i){\beta }_1(i)$$