HMM - Computing Likelihood

1. HMM 的基本组成要素

    

    一个HMM模型可以用5个元素来描述，包过2个状态集合和3个概率矩阵。其分别为

      隐含状态 Q

      可观测状态 O

      初始状态概率矩阵 π

      隐含状态概率转移矩阵 A

      观测状态转移概率矩阵 B

   引入几个符号：

     a_t(i) ： 表示到第 t 个观察值 Ot 时处于 状态 i 。

     ： 表示在 状态 i 下产生观察值的概率。

    应到声学识别时，表示的含义如下：

2. Computing Likelihood

 因为我们要解决的是模型估计问题。即计算概率 。将其利用如下公式化简：

 

    

     因此首先要先计算

   ，其中Q为一给定的状态序列 。又有

   。

     其中

   

     所以

   。

     因此最后求得

   

     由此可以看见其计算复杂度非常大，为。

    为了解决这个问题，前向算法就出现了。首先定义了一个前向变量 。表示从1到t，输出符号o序列，t时刻处于状态i的累计输出概率。

     因为前向变量有如下性质：

     初值：

    ，且

    ，最后有递推关系：

    。

     为什么这样就可以简化计算复杂度呢？其原因很简单，因为每一次的a_t(i)，我们都可以用a_t-1(i)来计算，就不用重复计算了。如下示意图可以帮助我们形象的理解：

 

    

     看了这么多公式，是不是头晕了？不急，下面看一个实例就会完全明白的。

    题目：HMM模型如下，试通过前向算法计算产生观察符号序列O={再见再见}时每个时刻的 和总概率。

                  

     当然初始概率矩阵π=(1,0,0),即开始处于状态1。按照上面的公式理论，我们的递推依次解出a_t(i)。解法如下：

     t=1时：

   

     t=2时：

   

     t=3时：

  

     t=4时：

 

     所以有最后的结果：

 

    

     最后将其计算过程示意图表示如下：