概率图模型-隐马尔可夫模型

说明：个人学习笔记，大量摘抄参考资料[2][3][4]的内容。

概述

隐马尔可夫模型(Hidden Markov Model, HMM)是一种结构简单的动态贝叶斯网络，描述了一个含有隐含未知参数的马尔可夫过程，主要用于时序数据建模，在语音识别、自然语言处理等领域有广泛应用。下文主要讨论马尔可夫模型的参数、假设和基本问题。

变量	定义
x = { x 1 , x 2 , . . . , x n } \textbf{x}=\{x_1,x_2,...,x_n\} x={x1​,x2​,...,xn​}	观测变量
{ o 1 , o 2 , . . . , o M } \{o_1,o_2,...,o_M\} {o1​,o2​,...,oM​}	观测变量的取值范围
y = { y 1 , y 2 , . . . , y n } \textbf{y}=\{y_1,y_2,...,y_n\} y={y1​,y2​,...,yn​}	状态变量（隐变量）
{ s 1 , s 2 , . . . , s N } \{s_1,s_2,...,s_N\} {s1​,s2​,...,sN​}	状态变量的取值范围（状态空间）

三个参数

• 状态转移概率$A$：模型在各个状态间转换的概率，记为$A=[a_{ij}{]}_{N\times N}$，其中

$$a_{ij}=P(y_{t+1}=s_j|y_t=s_i)$$

表示在任意时刻$t$，若状态为$s_i$，则在下一时刻状态变为$s_j$的概率。

• 输出观测概率$B$：模型根据当前状态获得各个观测值的概率，记为$B=[b_{ij}{]}_{N\times M}$，其中

$$b_{ij}=P(x_t=o_j|y_t=s_i)$$

表示在任意时刻$t$，若状态为$s_i$，则观测值$o_j$被获取的概率。

• 初始状态概率$\pi$：模型在初始时刻各状态出现的概率，记为$\pi =({\pi }_1,{\pi }_2,...,{\pi }_N)$，其中

$${\pi }_i=P(y_1=s_i)$$

表示模型的初始状态为$s_i$的概率

两个假设

• 齐次马尔可夫假设：又称一阶马尔可夫假设，任意时刻的状态只依赖前一时刻的状态，与其他时刻无关。公式表达如下

$$P(y_{t+1}|y_t,y_{t-1},...,y_1,x_t,x_{t-1},...,x_1)=P(y_{t+1}|y_t)$$

• 观测独立性假设：任意时刻的观测只依赖于该时刻的状态，与其他状态无关。公式表达如下

$$P(x_t|y_t,y_{t-1},...,y_1,x_{t-1},...,x_1)=P(x_t|y_t)$$

参考资料[6]还提到参数不变性假设，即上节中的三个参数不随时间变化而变化。因对参数$A$和$B$的定义已使用“任意时刻$t$”及参数$\pi$的定义已规定为初始时刻，故已默认其不受时间变化而变化，因此在此不单独列出作为一条假设。

三个问题

评估问题

已知$\lambda$,求$P(\text{x}|\lambda )$，即评估模型与观测序列之间的匹配程度。常用求解方法有前向算法、后向算法。

如果直接进行暴力求解，有公式
$$P(\text{x}|\lambda )=\sum _{\text{y}}P(\text{y},\text{x}|\lambda )=\sum _{\text{y}}P(\text{y}|\lambda )\cdot P(\text{x}|\text{y},\lambda )$$

其中又有
$$\begin{array}{rl}P(\text{y}|\lambda )& =P(y1,...,y_T|\lambda )\\ & =P(y_1|y_2,...,y_T,\lambda )\cdot P(y_2,...,y_T|\lambda )\\ & =P(y_1|y_2)\cdot P(y_2,...,y_T|\lambda )(假设1)\\ & =a_{y_1,y_2}P(y_2,...,y_T|\lambda )=\cdots \\ & ={\pi }_{y_1}\prod _{t=1}^T{a}_{y_{i-1},y_i}\\ P(\text{x}|\text{y},\lambda )& =\prod _{t=1}^T{b}_{y_t,x_t}\end{array}$$

则可以得到
$$P(\text{x}|\lambda )=\sum _{\text{y}}{\pi }_{y_1}\prod _{t=1}^T{a}_{y_{t-1},y_t}\prod _{t=1}^T{b}_{y_t,x_t}$$

其中状态序列$\text{y}$包括$T$个状态，每个状态又有$N$种取值可能，因此求和符号中包含$N^T$项，整个计算公式的时间复杂度高达$O(N^T)$。

前向算法
设前向概率${\alpha }_t(j)=P(x_1,...,x_t,y_t=s_j|\lambda )$，则有
$$P(\text{x}|\lambda )=\sum _{i=1}^{N}P(\text{x},y_T=s_i|\lambda )=\sum _{i=1}^N{\alpha }_T(i)$$

可知${\alpha }_1(i)=P(x_1,y_1=s_i|\lambda )=P(y_1=s_i)\cdot P(x_1|y_1=s_i,\lambda )={\pi }_i{b}_{i,x_1}$
现在只需求出${\alpha }_t(i)$和${\alpha }_{t+1}(i)$之间的关系式：
$$\begin{array}{rl}{\alpha }_{t+1}(j)& =P(x_1,...,x_{t+1},y_{t+1}=s_j|\lambda )=\sum _{i=1}^{N}P(x_1,...,x_{t+1},y_{t+1}=s_j,y_t=s_i|\lambda )\\ & =\sum _{i=1}^{N}P(x_{t+1}|x_1,...,x_t,y_{t+1}=s_j,y_t=s_i,\lambda )\cdot P(x_1,...,x_t,y_{t+1}=s_j,y_t=s_i|\lambda )\\ & =\sum _{i=1}^{N}P(x_{t+1}|y_{t+1}=s_j)\cdot P(x_1,...,x_t,y_{t+1}=s_j,y_t=s_i|\lambda )(假设1)\\ & =\sum _{i=1}^{N}P(x_{t+1}|y_{t+1}=s_j)\cdot P(y_{t+1}=s_j|x_1,...,x_t,y_t=s_i,\lambda )\cdot P(x_1,...,x_t,y_t=s_i|\lambda )\\ & =\sum _{i=1}^{N}P(x_{t+1}|y_{t+1}=s_j)\cdot P(y_{t+1}=s_j|y_t=s_i)\cdot P(x_1,...,x_t,y_t=s_i|\lambda )(假设2)\\ & =b_{j,x_{t+1}}\sum _{i=1}^N{a}_{ij}{\alpha }_t(i)\end{array}$$

前向算法求解步骤如下：
step1 初始化
${\alpha }_1(i)={\pi }_i{b}_{j1},i=1,2,...,N$
step2 从前向后，逐步递推求
${\alpha }_{t+1}(i)=b_{j,x_{t+1}}{\sum }_{i=1}^N{a}_{ij}{\alpha }_t(i),t=1,...,T-1$
step3 对$T$时刻的所有前向概率求和
$P(\text{x}|\lambda )={\sum }_{i=1}^N{\alpha }_T(i)$

后向算法
设后向概率${\beta }_t(i)=P(x_{t+1},...,x_T|y_t=s_i,\lambda )$，则有
$$\begin{array}{rl}P(\text{x}|\lambda )& =\sum _{i=1}^{N}P(\text{x}|y_1=s_i,\lambda )\cdot P(y_1=s_i|\lambda )\\ & =\sum _{i=1}^{N}P(x1|x_2,...,x_T,y_1=s_i,\lambda )\cdot P(x_2,...,x_T|y_1=s_i,\lambda )\cdot {\pi }_i\\ & =\sum _{i=1}^N{\pi }_{i}P(x_1|y_1=s_i){\beta }_1(i)(假设2)\\ & =\sum _{i=1}^N{\pi }_i{b}_{i,x_1}{\beta }_1(i)\end{array}$$

同理去求${\beta }_t(i)$和${\beta }_{t+1}(i)$之间的关系式：
$$\begin{array}{rl}{\beta }_t(i)& =P(x_{t+1},...,x_T|y_t=s_i,\lambda )\\ & =\sum _{j=1}^{N}P(x_{t+1},...,x_T,y_{t+1}=s_j|y_t=s_i,\lambda )\\ & =\sum _{j=1}^{N}P(x_{t+1},...,x_T|y_{t+1}=s_j,y_t=s_i,\lambda )\cdot P(y_{t+1}=s_j|y_t=s_i,\lambda )\\ & =\sum _{j=1}^{N}P(x_{t+1},...,x_T|y_{t+1}=s_j,\lambda )\cdot a_{ij}(条件独立性)\\ & =\sum _{j=1}^{N}P(x_{t+1}|x_{t+2},...,x_T,y_{t+1}=s_j,\lambda )\cdot P(x_{t+2},...,x_T|y_{t+1}=s_j,\lambda )\cdot a_{ij}\\ & =\sum _{j=1}^{N}P(x_{t+1}|y_{t+1}=s_j)\cdot {\beta }_{t+1}(j)\cdot a_{ij}(假设2)\\ & =\sum _{j=1}^N{a}_{ij}{b}_{j,x_{t+1}}{\beta }_{t+1}(j)\end{array}$$

后向算法求解步骤如下：
step1 初始化，定义
${\beta }_T(i)=1$
step2 从后向前，逐步递推求
${\beta }_t(i)={\sum }_{j=1}^N{a}_{ij}{b}_{j,x_{t+1}}{\beta }_{t+1}(j),t=T-1,T-2,...,1$
step3 将初始时刻的后向概率带入
${\beta }_t(i)=={\sum }_{i=1}^N{\pi }_i{b}_{i,x_1}{\beta }_1(i)$

解码问题

已知$\lambda$和$\text{x}$，求定义$\hat{y}=\underset{\text{y}}{\mathrm{argmax}}P(\text{y}|\lambda ,\text{x})$，即根据观测序列求隐藏的模型状态。常用求解方法有维特比(viterbi)方法。

评估问题中，提到了状态序列$\text{y}$包括$T$个状态，每个状态又有$N$种取值可能，那么$\text{y}$就有$T^N$种表示形式。对于解码问题，所求即在所有表现形式中找到对应概率最大的一种。可以采用动态规划的思想，将所求状态序列看作是参数空间中的一个路径，每个状态是路径上的一个节点（注意不是每个时刻），即用动态规划求概率最大路径，也就是维特比方法。

定义在时刻$t$状态为$s_i$的所有单个路径$(y_1,y_2,...,y_t)$中概率最大值为
$${\delta }_t(i)=\underset{y_1,\cdots ,y_{t-1}}{\max }p(y_1,\cdots ,y_{t-1},y_t=s_i,x_1,\cdots ,x_t|\lambda ),i=1,2,\cdots ,N$$
根据动态规划原理，最优路径具有最优路径中的部分路径仍是最优路径的特性。参考资料[2]中第208页有更具体的描述，参考资料[7]用图给出了更加直观易懂的解释。

可得变量$\delta$的递推公式：
$${\delta }_{t+1}(i)=\underset{1\le j\le N}{\max }[{\delta }_t(j)a_{ji}]b_{i,x_{t+1}}$$

注意到$b_{i,x_{t+1}}$的值与$j$的取值无关。另定义在时刻$t$状态为$s_i$的所有单个路径$(y_1,y_2,...,y_t)$中概率最大的路径的第$t-1$个结点为
$${\Psi }_t(i)=\underset{1\le j\le N}{\mathrm{argmax}}[{\delta }_{t-1}(j)a_{ji}]$$

维特比算法求解步骤如下：
step1 初始化，定义
${\delta }_1(i)={\pi }_i{b}_{i,x_1}$
step2 递推求最大概率${\delta }_t(i)$和结点${\Psi }_t(i)$
step3 回溯求最优路径的各结点
$i_T^{\ast }=\underset{1\le j\le N}{\mathrm{argmax}}[{\delta }_T(j)]$
$i_t^{\ast }={\Psi }_{t+1}(i_{t+1}^{\ast })$

学习问题

已知$\text{x}$，求$\hat{\lambda }=\underset{\lambda }{\mathrm{argmax}}P(\text{x}|\lambda )$。即训练模型使其能最好地描述观测数据。常用求解方法有Baum-Welch算法。

Baum-Welch算法
类似于EM算法，有参数$\theta$的迭代公式如下所示：
$$\begin{array}{rl}{\lambda }^{t+1}& =\underset{\lambda }{\mathrm{argmax}}\sum _{\text{y}}\log P(\text{x},\text{y}|\lambda )P(\text{y}|\text{x},{\lambda }^t)\\ & =\underset{\lambda }{\mathrm{argmax}}\sum _{\text{y}}\log P(\text{x},\text{y}|\lambda )P(\text{x},\text{y}|{\lambda }^t)\end{array}$$

第二个等号是因为$P(\text{y}|\text{x},{\lambda }^t)=P(\text{x},\text{y}|{\lambda }^t)/P(\text{x}|{\lambda }^t)$中的分母与$\lambda$无关，${\lambda }^t$是常数而$\lambda$是变量。

定义函数
$$\begin{array}{rl}Q(\lambda |{\lambda }^t)& =\sum _{\text{y}}\log P(\text{x},\text{y}|\lambda )P(\text{x},\text{y}|{\lambda }^t)\\ & =\sum _{\text{y}}[log{\pi }_{y_1}+log\prod _{t=1}^T{a}_{y_{t-1},y_t}+log\prod _{t=1}^T{b}_{y_t,x_t}]P(\text{x},\text{y}|{\lambda }^t)\end{array}$$

以参数$\pi$为例，有迭代式
$$\begin{array}{rl}{\pi }_{t+1}& =\underset{\pi }{\mathrm{argmax}}\sum _{\text{y}}log{\pi }_{y_1}P(\text{x},\text{y}|{\lambda }^t)\\ & =\underset{\pi }{\mathrm{argmax}}\sum _{y_1}\sum _{y_2}...\sum _{y_T}log{\pi }_{y_1}P(\text{x},y_1,...,y_T|{\lambda }^t)\\ & =\underset{\pi }{\mathrm{argmax}}\sum _{y_1}[log{\pi }_{y_1}P(\text{x},y_1|{\lambda }^t)](边缘分布思想)\\ & =\underset{\pi }{\mathrm{argmax}}\sum _{i=1}^{N}lo{g}_{{\pi }_i}P(\text{x},y_1=s_i|{\lambda }^t)\end{array}$$

另外根据$\pi$的定义，有约束式${\sum }_i{\pi }_i=1$，则有拉格朗日函数：
$$L(\pi ,\eta )=\sum _{i=1}^{N}lo{g}_{{\pi }_i}P(\text{x},y_1=s_i|{\lambda }^t)+\eta (\sum _{i=1}^N{\pi }_i-1)$$

对其求偏导可得
$$\frac{\partial L}{\partial {\pi }_i}=\frac{1}{{\pi }_i}P(\text{x},y_1=s_i|{\lambda }^t)+\eta =0$$

$$\sum _{i=1}^{N}P(\text{x},y_1=s_i|{\lambda }^t)+{\pi }_i\eta =0\Rightarrow \eta =-P(\text{x}|{\lambda }^t)$$

综合上面两式，最终可得
$${\pi }_i^{t+1}=\frac{P(\text{x},y_1=s_i|{\lambda }^t)}{p(\text{x}|{\lambda }^t)}$$

参考资料

[1]《机器学习》周志华

[2] 《统计学习方法(第2版)》 李航

[3] 哔哩哔哩-shuhuai008-机器学习白板推导系列

[4]github-tsyw-MachineLearningNotes

[5] 百度百科-隐马尔可夫模型

[6] 博客-liuwu265-隐马尔可夫模型（HMM）原理

[7] 知乎-路生-如何通俗地讲解 viterbi 算法