隐马尔可夫模型HMM

1. 隐马尔可夫模型的基本概念

  隐马尔可夫模型（hidden Markov model, HMM）是可用于标注问题的统计学习模型，描述由隐藏的马尔可夫链随机生成观测序列的过程，属于生成模型。

1.1 隐马尔可夫模型的定义

图结构

文字描述

  隐马尔可夫模型是关于时序的概率模型，描述了：

• 由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列；
• 再由各个状态生成一个观测而产生观测随机序列 的过程。

数学定义

• $I=(i_1,i_2,...,i_T)$：长度为T的状态序列； Q = { q 1 , q 2 , . . . , q N } Q=\{q_1,q_2,...,q_N\} Q={q1​,q2​,...,qN​}：所有可能的状态的集合
• $O=(o_1,o_2,...,o_T)$：对应的观测序列； V = { v 1 , v 2 , . . . , v M } V=\{v_1,v_2,...,v_M\} V={v1​,v2​,...,vM​}：所有可能的观测的集合

  隐马尔可夫模型$\lambda$可由三元符号$\lambda =(A,B,\pi )$表示，其中：

• $A=[a_{ij}{]}_{N\times N}$：状态转移概率矩阵
  • $a_{ij}=P(i_{t+1}=q_j|i_t=q_i),i=1,...,N;j=1,...,N$
  • 在$t$时刻处于状态$q_i$的条件下，在$t+1$时刻转移到状态$q_j$的概率
• $B=[b_j(k){]}_{N\times M}$：观测概率矩阵
  • $b_j(k)=P(o_t=v_k|i_t=q_j),k=1,...,M;j=1,...,N$
  • 在$t$时刻处于状态$q_j$的条件下生成观测$v_k$的概率
• $\pi =({\pi }_i{)}_{1,...,N}$：初始状态概率向量
  • ${\pi }_i=P(i_1=q_i)$
  • $t=1$时刻处于状态$q_i$的概率

$A,B,\pi$称为隐马尔可夫模型的三要素。

  由定义可知，隐马尔可夫模型作了两个基本假设：
  1. 齐次马尔可夫性假设：隐藏的马尔可夫链在任意时刻$t$的状态只依赖于其前一时刻的状态，与其他时刻的状态及观测无)关，也与时刻$t$无关，即
$$P(i_t|i_{t-1},o_{t-1},...,i_1,o_1)=P(i_t|i_{t-1})$$

  2. 观测独立性假设：任意时刻的观测只依赖于该时刻的马尔可夫链的状态，与其他观测及状态无关，即
$$P(o_t|i_T,o_T,i_{T-1},o_{T-1},...,i_{t+1},o_{t+1},i_t,o_t,i_{t-1},o_{t-1},...,i_1,o_1)=P(o_t|i_t)$$

观测序列的生成过程
输入：隐马尔可夫模型$\lambda =(A,B,\pi )$，观测序列长度$T$；
输出：观测序列$O=(o_1,o_2,...,o_T)$
(1)按照初始状态分布$\pi$产生状态$i_1$
(2)令$t=1$
(3)按照状态$i_t$的观测概率分布$b_{i_t}(k)$生成$o_t$
(4)按照状态$i_t$的状态转移概率分布 { a i t i t + 1 } \{a_{i_ti_{t+1}}\} {ait​it+1​​}产生状态$i_{t+1}$
(5)令$t=t+1$；如果$t<T$，转步(3)；否则，终止

1.2 隐马尔可夫模型的三个基本问题

1. 概率计算问题
  给定模型$\lambda =(A,B,\pi )$和观测序列$O=(o_1,o_2,...,o_T)$，计算在模型$\lambda$下观测序列$O$出现的概率$P(O|\lambda )$。

2. 学习问题
  已知观测序列$O=(o_1,o_2,...,o_T)$，估计模型$\lambda =(A,B,\pi )$参数，使得在该模型下观测序列概率$P(O|\lambda )$最大，即用极大似然方法估计参数。

3. 预测问题/解码问题
  给定模型$\lambda =(A,B,\pi )$和观测序列$O=(o_1,o_2,...,o_T)$，求对给定观测序列条件概率$P(I|O)$最大的状态序列$I=(i_1,i_2,...,i_T)$，即给定观测序列，求最有可能的对应的状态序列。

2. 概率计算算法

$$\lambda =(A,B,\pi )+O=(o_1,o_2,...,o_T)⟹P(O|\lambda )$$

2.1 直接计算法

  最直接的方法是按概率公式直接计算。通过列举所有可能的长度为$T$的状态序列$I=(i_1,i_2,...,i_T)$，求各个状态序列$I$与观测序列$O=(o_1,o_2,...,o_T)$的联合概率$P(O,I|\lambda )$，然后对所有可能的状态序列求和，得到$P(O|\lambda )$。

  状态序列$I=(i_1,i_2,...,i_T)$的概率是：
$$P(I|\lambda )={\pi }_{i_1}{a}_{i_1{i}_2}{a}_{i_2{i}_3}...a_{i_{T-1}{i}_T}$$
  对固定的状态序列$I=(i_1,i_2,...,i_T)$，观测序列$O=(o_1,o_2,...,o_T)$的概率是：
$$P(O|I,\lambda )=b_{i_1}(o_1)b_{i_2}(o_2)...b_{i_T}(o_T)$$
  $O$和$I$同时出现的联合概率：
$$P(O,I|\lambda )=P(O|I,\lambda )P(I|\lambda )={\pi }_{i_1}{b}_{i_1}(o_1)a_{i_1{i}_2}{b}_{i_2}(o_2)...a_{i_{T-1}{i}_T}{b}_{i_T}(o_T)$$
  然后，对所有可能的状态序列$I$求和，得到观测序列$O$的概率$P(O|\lambda )$，即
$$\begin{array}{rl}P(O|\lambda )& =\sum _{I}P(O|I,\lambda )P(I|\lambda )\\ & =\sum _{i_1,i_2,...,i_T}{\pi }_{i_1}{b}_{i_1}(o_1)a_{i_1{i}_2}{b}_{i_2}(o_2)...a_{i_{T-1}{i}_T}{b}_{i_T}(o_T)\end{array}$$

这种计算方式计算量是$O(T{N}^T)$阶的。

2.2 前向算法

  前向算法本质上属于动态规划的算法，也就是我们要通过找到局部状态递推的公式，这样一步步的从子问题的最优解拓展到整个问题的最优解。在前向算法中，通过定义“前向概率”来定义动态规划的这个局部状态：给定隐马尔可夫模型$\lambda$，定义时刻$t$部分观测序列为$o_1,o_2,...,o_t$且状态为$q_i$的概率为前向概率，记作
$${\alpha }_t(i)=P(o_1,o_2,...,o_t,i_t=q_i|\lambda )$$

可以递推地求得前向概率${\alpha }_t(i)$及观测序列概率$P(O|\lambda )$。

  假设已经知道在时刻$t$时各个隐藏状态的前向概率，现在需要递推出时刻$t+1$时各个隐藏状态的前向概率。
$$\begin{array}{rl}{\alpha }_{t+1}(i)& =P(o_1,o_2,...,o_t,o_{t+1},i_{t+1}=q_i|\lambda )\\ & =P(o_1,o_2,...,o_t,i_{t+1}=q_i|\lambda )P(o_{t+1}|i_{t+1}=q_i)\\ & =\left[\sum _{j=1}^{N}P(o_1,o_2,...,o_t,i_t=q_j,i_{t+1}=q_i|\lambda )\right]P(o_{t+1}|i_{t+1}=q_i)\\ & =\left[\sum _{j=1}^{N}P(o_1,o_2,...,o_t,i_t=q_j|\lambda )P(i_{t+1}=q_i|i_t=q_j)\right]P(o_{t+1}|i_{t+1}=q_i)\\ & =\left[\sum _{j=1}^N{\alpha }_t(j)a_{ji}\right]b_i(o_{t+1})\end{array}$$

$$P(O|\lambda )=\sum _{i=1}^{N}P(o_1,o_2,...,o_T,i_T=q_i|\lambda )=\sum _{i=1}^N{\alpha }_T(i)$$

观测序列概率的前向算法
输入：隐马尔可夫模型$\lambda$，观测序列$O$
输出：观测序列概率$P(O|\lambda )$
(1)初值：
$${\alpha }_1(i)=P(o_1,i_1=q_i|\lambda )=P(i_1=q_i)P(o_1|i_1=q_i)={\pi }_i{b}_i(o_1),i=1,2,...,N$$
(2)递推：对$t=1,2,...,T-1$
$${\alpha }_{t+1}(i)=\left[\sum _{j=1}^N{\alpha }_t(j)a_{ji}\right]b_i(o_{t+1}),i=1,2,...,N$$
(3)终止：
$$P(O|\lambda )=\sum _{i=1}^N{\alpha }_T(i)$$

算法分析
  前向算法高效的关键是其局部计算前向概率，然后利用路径结构前向概率递推到全局，得到$P(O|\lambda )$。具体地，在时刻$t=1$，计算${\alpha }_1(i)$的$N$个值$(i=1,2,...,N)$；在各个时刻$t=1,2,...,T-1$，计算${\alpha }_{t+1}(i)$的$N$个值$(i=1,2,...,N)$，而且每个${\alpha }_{t+1}(i)$的计算利用前一时刻$N$个${\alpha }_t(j)$。减少计算量的原因在于每一次计算直接饮用前一个时刻的计算结果，避免重复计算。这样，利用前向概率计算$P(O|\lambda )$的计算量是$O(N^{2}T)$阶的。

2.3 后向算法

  给定隐马尔可夫模型$\lambda$，定义时刻$t$状态为$q_i$的条件下，从$t+1$到$T$的部分观测序列为$o_{t+1},o_{t+2},...,o_T$的概率为后向概率，记作
$${\beta }_t(i)=P(o_{t+1},o_{t+2},...,o_T|i_t=q_i,\lambda )$$

  对最终时刻的所有状态$q_i$规定${\beta }_T(i)=1$，假设已经知道在时刻$t+1$时各个隐藏状态的后向概率，现在需要递推出时刻$t$时各个隐藏状态的后向概率。
$$\begin{array}{rl}{\beta }_t(i)& =P(o_{t+1},o_{t+2},...,o_T|i_t=q_i,\lambda )\\ & =\sum _{j=1}^{N}P(o_{t+1},o_{t+2},...,o_T,i_{t+1}=q_j|i_t=q_i,\lambda )\\ & =\sum _{j=1}^{N}P(o_{t+1},o_{t+2},...,o_T|i_t=q_i,i_{t+1}=q_j,\lambda )P(i_{t+1}=q_j|i_t=q_i)\\ & =\sum _{j=1}^{N}P(o_{t+1},o_{t+2},...,o_T|i_{t+1}=q_j,\lambda )P(i_{t+1}=q_j|i_t=q_i)\\ & =\sum _{j=1}^{N}P(o_{t+1}|o_{t+2},...,o_T,i_{t+1}=q_j,\lambda )P(o_{t+2},...,o_T|i_{t+1}=q_j,\lambda )P(i_{t+1}=q_j|i_t=q_i)\\ & =\sum _{j=1}^{N}P(o_{t+1}|i_{t+1}=q_j)P(o_{t+2},o_{t+3},...,o_T|i_{t+1}=q_j,\lambda )P(i_{t+1}=q_j|i_t=q_i)\\ & =\sum _{j=1}^N{a}_{ij}{b}_j(o_{t+1}){\beta }_{t+1}(j)\end{array}$$

类似地，
$$P(O|\lambda )=\sum _{i=1}^N{\pi }_i{b}_i(o_1){\beta }_1(i)$$

观测序列概率的后向算法
输入：隐马尔可夫模型$\lambda$，观测序列$O$
输出：观测序列概率$P(O|\lambda )$
(1)初值：
$${\beta }_T(i)=1,i=1,2,...,N$$
(2)递推：对$t=1,2,...,T-1$
$${\beta }_t(i)=\sum _{j=1}^N{a}_{ij}{b}_j(o_{t+1}){\beta }_{t+1}(j),i=1,2,...,N$$
(3)终止：
$$P(O|\lambda )=\sum _{i=1}^N{\pi }_i{b}_i(o_1){\beta }_1(i)$$

  利用前向概率和后向概率的定义可以将观测序列概率$P(O|\lambda )$统一写成
$$P(O|\lambda )=\sum _{i=1}^N\sum _{j=1}^N{\alpha }_t(i)a_{ij}{b}_j(o_{t+1}){\beta }_{t+1}(j),t=1,2,...,T-1$$

2.4 一些概率与期望值的计算

  利用前向概率和后向概率，可以得到关于单个状态和两个状态概率的计算公式。

• 给定模型$\lambda$和观测$O$，在时刻$t$处于状态$q_i$的概率，记为${\gamma }_t(i)=P(i_t=q_i|O,\lambda )$，可以通过前向后向概率计算：
  $${\gamma }_t(i)=P(i_t=q_i|O,\lambda )=\frac{P(i_t=q_i,O|\lambda )}{P(O|\lambda )}$$

而
$$\begin{array}{rl}{\alpha }_t(i){\beta }_t(i)& =P(o_1,o_2,...,o_t,i_t=q_i|\lambda )P(o_{t+1},o_{t+2},...,o_T|i_t=q_i,\lambda )\\ & =P(i_t=q_i,O|\lambda )\end{array}$$

于是得到
$${\gamma }_t(i)=\frac{{\alpha }_t(i){\beta }_t(i)}{P(O|\lambda )}=\frac{{\alpha }_t(i){\beta }_t(i)}{{\sum }_{j=1}^N{\alpha }_t(j){\beta }_t(j)}$$

• 给定模型$\lambda$和观测$O$，在时刻$t$处于状态$q_i$且在时刻$t+1$处于状态$q_j$的概率，记作${\xi }_t(i,j)=P(i_t=q_i,i_{t+2}=q_j|O,\lambda )$，可以通过后向概率计算：
  $${\xi }_t(i,j)=\frac{P(i_t=q_i,i_{t+2}=q_j,O|\lambda )}{P(O|\lambda )}=\frac{P(i_t=q_i,i_{t+2}=q_j,O|\lambda )}{{\sum }_{i=1}^N{\sum }_{j=1}^{N}P(i_t=q_i,i_{t+2}=q_j,O|\lambda )}$$

而
$$\begin{array}{rl}{\alpha }_t(i)a_{ij}{b}_j(o_{t+1}){\beta }_{t+1}(j)=& P(o_1,o_2,...,o_t,i_t=q_i|\lambda )P(i_{t+1}=q_j|i_t=q_i)P(o_{t+1}|i_{t+1}=q_j)\\ & P(o_{t+2},o_{t+3},...,o_T|i_{t+1}=q_i,\lambda )\\ =& P(i_t=q_i,i_{t+2}=q_j,O|\lambda )\end{array}$$

所以
$${\xi }_t(i,j)=\frac{{\alpha }_t(i)a_{ij}{b}_j(o_{t+1}){\beta }_{t+1}(j)}{{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_t(i)a_{ij}{b}_j(o_{t+1}){\beta }_{t+1}(j)}$$

• 将${\gamma }_t(i)$和${\xi }_t(i,j)$对各个时刻$t$求和，可以得到一些有用的期望值：
  在观测$O$下状态$i$出现的期望值
  $$\sum _{t=1}^T{\gamma }_t(i)=\sum _{t=1}^{T}P(i_t=q_i|O,\lambda )$$
  在观测$O$下由状态$i$转移的期望
  $$\sum _{t=1}^{T-1}{\gamma }_t(i)=\sum _{t=1}^{T-1}P(i_t=q_i|O,\lambda )$$
  在观测$O$下由状态$i$转移到状态$j$的期望
  $$\sum _{t=1}^{T-1}{\xi }_t(i,j)=\sum _{t=1}^{T-1}P(i_t=q_i,i_{t+2}=q_j|O,\lambda )$$

3. 学习算法

$$ma{x}_{\lambda }P(O|\lambda )⟹\lambda =(A,B,\pi )$$
  隐马尔可夫模型的学习，根据训练数据是包括观测序列和对应的状态序列还是只有观测序列，可以分别由监督学习与非监督学习实现。

3.1 监督学习方法

  假设已给训练数据包含$S$个长度相同的观测序列和对应的状态序列 { ( O 1 , I 1 ) , ( O 2 , I 2 ) , . . . , ( O S , I S ) } \{(O_1,I_1),(O_2,I_2),...,(O_S,I_S)\} {(O1​,I1​),(O2​,I2​),...,(OS​,IS​)}，则可以利用极大似然估计法来估计隐马尔可夫模型的参数。

转移概率$a_{ij}$的估计

• $A_{ij}$：样本中时刻$t$处于状态$i$时刻$t+1$转移到状态$j$的频数
  状态转移概率$a_{ij}$的估计：
  $${\hat{a}}_{ij}=\frac{A_{ij}}{{\sum }_{j=1}^N{A}_{ij}},i=1,2,...,N;j=1,2,...,N$$

观测概率$b_j(k)$的估计

• $B_{jk}$：样本中状态为$j$并观测为$k$的频数
  状态为$j$并观测为$k$的概率$b_j(k)$的估计：
  $${\hat{b}}_j(k)=\frac{B_{jk}}{{\sum }_{k=1}^M{B}_{jk}},j=1,2,...,N;k=1,2,...,M$$

初始状态概率${\pi }_i$的估计

• ${\pi }_i$的估计${\hat{\pi }}_i$是$S$个样本中初始状态为$q_i$的频数

3.2 非监督学习算法——Baum-Welch算法（EM算法）

  假设已给训练数据包含$S$个长度相同的观测序列 { O 1 , O 2 , . . . , O S } \{O_1,O_2,...,O_S\} {O1​,O2​,...,OS​}而没有对应的状态序列，目标是学习隐马尔可夫模型$\lambda =(A,B,\pi )$的参数。
  将观测序列数据看作观测数据$O$，状态序列数据看作不可观测的隐数据$I$，则隐马尔可夫模型事实上是一个含有隐变量的概率模型
$$P(O|\lambda )=\sum _{I}P(O|I,\lambda )P(I,\lambda )$$

它的参数学习可以由EM算法实现。
【ML】EM（期望最大）算法

1. 确定完全数据的对数似然函数
  所有观测数据写成$O=(o_1,o_2,...,o_T)$，所有隐数据写成$I=(i_1,i_2,...,i_T)$ ，完全数据是$(O,I)=(o_1,o_2,...,o_T,i_1,i_2,...,i_T)$。完全数据的对数似然函数是$\log P(O,I|\lambda )$。

2. EM算法的E步——求$Q$函数
$$Q(\lambda ,\bar{\lambda })=\sum _I\log P(O,I|\lambda )P(I|O,\bar{\lambda })=\sum _I\log P(O,I|\lambda )\frac{P(O,I|\bar{\lambda })}{P(O|\bar{\lambda })}$$

其中，$\bar{\lambda }$是隐马尔可夫模型参数的当前估计值，$\lambda$是要极大化的隐马尔可夫模型参数，由于$P(O|\bar{\lambda })$为常数，极大化$Q$函数时可去掉，仍记作$Q(\lambda ,\bar{\lambda })$。由
$$P(O,I|\lambda )={\pi }_{i_1}{b}_{i_1}(o_1)a_{i_1{i}_2}{b}_{i_2}(o_2)...a_{i_{T-1}{i}_T}{b}_{i_T}(o_T)$$

于是函数$Q(\lambda ,\bar{\lambda })$可以写成
$$\begin{array}{rl}Q(\lambda ,\bar{\lambda })=\sum _I\log {\pi }_{i_1}P(O,I|\bar{\lambda })& +\sum _I\left(\sum _{t=1}^{T-1}\log a_{i_t{i}_{t+1}}\right)P(O,I|\bar{\lambda })\\ & +\sum _I\left(\sum _{t=1}^T\log b_{i_t}(o_t)\right)P(O,I|\bar{\lambda })\end{array}$$

式中求和都是对所有训练数据的序列总长度$T$进行的。

3. EM算法的M步——极大化Q函数求模型参数

  由于极大化的参数在Q函数中单独地出现3个项中，所以只需对各项分别极大化。

初始状态概率${\pi }_i$的估计

  Q函数的第一项可以写成：
$$\sum _I\log {\pi }_{i_1}P(O,I|\bar{\lambda })=\sum _{i=1}^N\log {\pi }_{i}P(O,i_1=i|\bar{\lambda })$$

极大化第一项，
$$\{\begin{array}{ll}{\max }_{{\pi }_i}& {\sum }_{i=1}^N\log {\pi }_{i}P(O,i_1=i|\bar{\lambda })\\ s.t.& {\sum }_{i=1}^N{\pi }_i=1\end{array}$$

拉格朗日函数
$$\sum _{i=1}^N\log {\pi }_{i}P(O,i_1=i|\bar{\lambda })+\gamma (\sum _{i=1}^N{\pi }_i-1)$$

对其求偏导数并令结果为0，
$$\frac{\partial }{\partial {\pi }_i}\left[\sum _{i=1}^N\log {\pi }_{i}P(O,i_1=i|\bar{\lambda })+\gamma (\sum _{i=1}^N{\pi }_i-1)\right]=0$$

得
$$P(O,i_1=i|\bar{\lambda })+\gamma {\pi }_i=0$$

对$i$求和得到$\gamma$，
$$\gamma =-P(O|\bar{\lambda })$$

于是
$${\pi }_i=\frac{P(O,i_1=i|\bar{\lambda })}{P(O|\bar{\lambda })}(1)$$

转移概率$a_{ij}$的估计

  Q函数的第二项可以写成：
$$\sum _I\left(\sum _{t=1}^{T-1}\log a_{i_t{i}_{t+1}}\right)P(O,I|\bar{\lambda })=\sum _{i=1}^N\sum _{j=1}^N\sum _{t=1}^{T-1}\log a_{ij}P(O,i_t=i,i_{t+1}=j|\bar{\lambda })$$

极大化第二项，
$$\{\begin{array}{ll}{\max }_{a_{ij}}& {\sum }_{i=1}^N{\sum }_{j=1}^N{\sum }_{t=1}^{T-1}\log a_{ij}P(O,i_t=i,i_{t+1}=j|\bar{\lambda })\\ s.t.& {\sum }_{j=1}^N{a}_{ij}=1\end{array}$$

拉格朗日函数
$$\sum _{i=1}^N\sum _{j=1}^N\sum _{t=1}^{T-1}\log a_{ij}P(O,i_t=i,i_{t+1}=j|\bar{\lambda })+\gamma (\sum _{j=1}^N{a}_{ij}-1)$$

对其求偏导数并令结果为0，
$$\frac{\partial }{\partial a_{ij}}\left[\sum _{i=1}^N\sum _{j=1}^N\sum _{t=1}^{T-1}\log a_{ij}P(O,i_t=i,i_{t+1}=j|\bar{\lambda })+\gamma (\sum _{j=1}^N{a}_{ij}-1)\right]=0$$

得
$$\sum _{t=1}^{T-1}P(O,i_t=i,i_{t+1}=j|\bar{\lambda })+\gamma a_{ij}=0$$

对$j$求和得到$\gamma$，
$$\gamma =-\sum _{t=1}^{T-1}P(O,i_t=i|\bar{\lambda })$$

于是
$$a_{ij}=\frac{{\sum }_{t=1}^{T-1}P(O,i_t=i,i_{t+1}=j|\bar{\lambda })}{{\sum }_{t=1}^{T-1}P(O,i_t=i|\bar{\lambda })}(2)$$

观测概率$b_j(k)$的估计

  Q函数的第三项可以写成：
$$\sum _I\left(\sum _{t=1}^T\log b_{i_t}(o_t)\right)P(O,I|\bar{\lambda })=\sum _{j=1}^N\sum _{t=1}^T\log b_j(o_t)P(O,i_t=j|\bar{\lambda })$$

极大化第三项，
$$\{\begin{array}{ll}{\max }_{b_j(k)}& {\sum }_{j=1}^N{\sum }_{t=1}^T\log b_j(o_t)P(O,i_t=j|\bar{\lambda })\\ s.t.& {\sum }_{k=1}^M{b}_j(k)=1\end{array}$$

拉格朗日函数
$$\sum _{j=1}^N\sum _{t=1}^T\log b_j(o_t)P(O,i_t=j|\bar{\lambda })+\gamma (\sum _{k=1}^M{b}_j(k)-1)$$

对其求偏导数并令结果为0，
$$\frac{\partial }{\partial b_j(k)}\left[\sum _{i=1}^N\sum _{j=1}^N\sum _{t=1}^{T-1}\log a_{ij}P(O,i_t=i,i_{t+1}=j|\bar{\lambda })+\gamma (\sum _{k=1}^M{b}_j(k)-1)\right]=0$$

得
∑ t = 1 T P ( O , i t = j ∣ λ ˉ ) I { o t = v k } + γ b j ( k ) = 0 \sum_{t=1}^{T}P(O,i_t=j|\bar{\lambda})I\{o_t=v_k\}+\gamma b_j(k)=0 t=1∑T​P(O,it​=j∣λˉ)I{ot​=vk​}+γbj​(k)=0

对$k$求和得到$\gamma$，
$$\gamma =-\sum _{t=1}^{T}P(O,i_t=j|\bar{\lambda })$$

于是
b j ( k ) = ∑ t = 1 T P ( O , i t = j ∣ λ ˉ ) I { o t = v k } ∑ t = 1 T P ( O , i t = j ∣ λ ˉ ) ( 3 ) b_j(k)=\frac{\sum_{t=1}^{T}P(O,i_t=j|\bar{\lambda})I\{o_t=v_k\}}{\sum_{t=1}^{T}P(O,i_t=j|\bar{\lambda})}\quad\quad(3) bj​(k)=∑t=1T​P(O,it​=j∣λˉ)∑t=1T​P(O,it​=j∣λˉ)I{ot​=vk​}​(3)

3.3 Baum-Welch模型参数估计公式

  将式(1)(2)(3)中的各概率分别用${\gamma }_t(i),{\xi }_t(i,j)$表示，则可将相应的公式写成，
$$a_{ij}=\frac{{\sum }_{t=1}^{T-1}{\xi }_t(i,j)}{{\sum }_{t=1}^{T-1}{\gamma }_t(i)}$$

$$b_j(k)=\frac{{\sum }_{t=1,o_t=v_k}^T{\gamma }_t(j)}{{\sum }_{t=1}^T{\gamma }_t(j)}$$

$${\pi }_i={\gamma }_1(i)$$

上式就是Baum-Welch算法，它是EM法在隐马尔可夫模型学习中的具体实现。

Baum-Welch算法
输入：观测数据$O=(o_1,o_2,...,o_T)$
输出：隐马尔可夫模型参数
(1)初始化：
对$n=0$，选取$a_{ij}^{(0)},b_k(k{)}^{(0)},{\pi }_i^{(i)}$，得到模型${\lambda }^{(0)}=(A^{(0)},B^{(0)},{\pi }^{(0)})$
(2)递推：对$n=1,2,...$
$$a_{ij}^{(n+1)}=\frac{{\sum }_{t=1}^{T-1}{\xi }_t(i,j)}{{\sum }_{t=1}^{T-1}{\gamma }_t(i)}$$

$$b_j(k{)}^{(n+1)}=\frac{{\sum }_{t=1,o_t=v_k}^T{\gamma }_t(j)}{{\sum }_{t=1}^T{\gamma }_t(j)}$$

$${\pi }_i^{(n+1)}={\gamma }_1(i)$$

右端各值按观测$O=(o_1,o_2,...,o_T)$和模型${\lambda }^{(n)}=(A^{(n)},B^{(n)},{\pi }^{(n)})$计算。
(3)终止：得到模型参数${\lambda }^{(n+1)}=(A^{(n+1)},B^{(n+1)},{\pi }^{(n+1)})$

4. 预测算法

$$\lambda +O⟹ma{x}_{I}P(I|O)⟹I=(i_1,i_2,...,i_T)$$

4.1 近似算法

  近似算法的想法是，在每个时刻$t$选择该时刻最优可能出现的状态$i_t^{\ast }$，从而得到一个状态序列$I^{\ast }=(i_1^{\ast },i_2^{\ast },...,i_T^{\ast })$，将它作为预测的结果。
  给定隐马尔可夫模型$\lambda$和观测序列$O$，在时刻$t$处于状态$q_i$的概率$${\gamma }_t(i)=\frac{{\alpha }_t(i){\beta }_t(i)}{P(O|\lambda )}=\frac{{\alpha }_t(i){\beta }_t(i)}{{\sum }_{j=1}^N{\alpha }_t(j){\beta }_t(j)}$$

在每一时刻$t$最有可能的状态$i_t^{\ast }$是
$$i_t^{\ast }=\arg \underset{1\le i\le N}{\max }[{\gamma }_t(i)],t=1,2,...,T$$

从而得到状态序列$I^{\ast }=(i_1^{\ast },i_2^{\ast },...,i_T^{\ast })$。

  近似算法的优点是计算简单，缺点是不能保证预测的状态序列整体是最可能的状态序列，因为预测的状态序列可能有实际不发生的部分。事实上，上述方法得到的状态序列中有可能存在转移概率为0的相邻状态，即对某些$i,j$，${\alpha }_{ij}$时。但近似算法仍然是有用的。

4.2 维特比算法

  维特比算法实际是用动态规划解隐马尔可夫模型预测问题，即用动态规划求概率最优路径，这时一条路径对应着一个状态序列。

  最优路径具有这样的特性：如果最优路径在时刻$t$通过结点$i_t^{\ast }$，那么这一路径从起点$i_1$到结点$i_t^{\ast }$到的部分路径，对于从$i_1^{\ast }$到$i_t^{\ast }$的所有可能的部分路径来说，必须是最优的。

  根据动态规划原理，只需从时刻$t=1$开始，递推地计算在时刻$t$状态为$i$的各条部分路径的最大概率，直到时刻$t=T$状态为$i$的各条路径的最大概率。时刻$t=T$的最大概率即为最优路径的概率$P^{\ast }$，最优路径的终结点$i_T^{\ast }$也同时得到。之后，为了找出最优路径的各个结点，从终结点$i_T^{\ast }$开始，由后向前逐步求得结点$i_{T-1}^{\ast },...,i_1^{\ast }$，得到最优路径$I^{\ast }=(i_1^{\ast },i_2^{\ast },...,i_T^{\ast })$。

  定义在时刻$t$状态为$i$的所有单个路径$(i_1,i_2,...i_t)$中的概率最大值：
$${\delta }_t(i)=\underset{i_1,i_2,...,i_{t-1}}{\max }P(i_t=i,i_{t-1},...,i_1,o_t,...,o_1|\lambda )$$

由定义可得变量$\delta$的递推公式：
$$\begin{array}{rl}{\delta }_{t+1}(i)& =\underset{i_1,i_2,...,i_t}{\max }P(i_{t+1}=i,i_t,...,i_1,o_{t+1}{o}_t,...,o_1|\lambda )\\ & =\underset{1\le j\le N}{\max }\left[{\delta }_t(j)a_{ji}\right]b_i(o_{t+1}),i=1,2,...,N;t=1,2,...,T-1\end{array}$$

  定义在时刻$t$状态为$i$的所有单个路径$(i_1,i_2,...,i_{t-1},i)$中概率最大的路径的第$t-1$个结点：
$${\Psi }_t(i)=\arg \underset{1\le j\le N}{\max }\left[{\delta }_t(j)a_{ji}\right],i=1,2,...,N$$

维特比算法
输入：模型$\lambda =(A,B,\pi )$和观测$O=(o_1,o_2,...,o_T)$
输出：最优路径$I^{\ast }=(i_1^{\ast },i_2^{\ast },...,i_T^{\ast })$
(1)初始化：
$${\delta }_1(i)={\pi }_i{b}_i(o_1),i=1,2,...,N$$

$${\Psi }_1(i)=0,i=1,2,...,N$$

(2)递推：对$t=2,3,...,T$
$${\delta }_t(i)=\underset{1\le j\le N}{\max }\left[{\delta }_{t-1}(j)a_{ji}\right]b_i(o_t),i=1,2,...,N$$

$${\Psi }_t(i)=\arg \underset{1\le j\le N}{\max }\left[{\delta }_{t-1}(j)a_{ji}\right],i=1,2,...,N$$

(3)终止：
$$P^{\ast }=\underset{1\le i\le N}{\max }{\delta }_T(i)$$

$$i_T^{\ast }=\arg \underset{1\le i\le N}{\max }{\delta }_T(i)$$

(4)最优路径回溯：对$t=T-1,T-2,...,1$
$$i_t^{\ast }={\Psi }_{t+1}(i_{t+1}^{\ast })$$

求得最优路径$I^{\ast }=(i_1^{\ast },i_2^{\ast },...,i_T^{\ast })$

---

《统计学习方法》——李航