【20210920】HMM入门

本文参考的视频链接

首先要知道什么式序列（Series），什么是集合（Set）

时间序列模型 Discrete Dynamic Model: Hidden Markov Model

$$\begin{array}{rl}& P\left(X_t|X_{t-1},X_{t-2}\dots .X_1\right)\\ =& P\left(X_t\mid X_{t-1}\right)\end{array}\text{\hspace{1em}(1)}$$

1. 马尔可夫过程简介

在我们知道一系列隐状态之后，我们的观测都是独立的

股市中的箭头的数值指的就是式(1)的概率值

为了所有的符号一致，现在把所有的隐状态记为q：

• $p(q_t|q_{t-1})$→transition probability（转移概率，在HMM里面，一定是离散的）
• $p(y_t|q_t)$→emission/measurement probability（发射概率，并不一定是离散的）

这两个概率决定了HMM模型

在语音里面的应用如下所示（音标是隐变量）

HMM图模型

知道隐状态之后，观测都是独立的！

2. {A、B、$\pi$}

在HMM里面，transition probability用一个矩阵（k×k）来表示：

• 我们用一个$A_{k\times k}$的矩阵代表 $p(q_t|q_{t-1})$
• 假设$p(y_t|q_t)$是离散的，我们用一个$B_{k\times L}$来表示

现在思考，是否只有 λ = { A , B } \lambda=\{A,B\} λ={A,B}便可以描述HMM模型

所以请思考，怎么计算股票观测到$P(y_1=up,y_2=up,y_3=down)$的概率？

我们知道：$$P(x)={\int }_{y}P(x,y)dy$$
所以原概率可以转化为：
$$\begin{array}{rl}P\left(y_1,y_2,y_3\right)& =\sum _{q_1=1}^k\sum _{q_2=1}^k\sum _{q_3=1}^{k}p\left(y_1,y_2,y_3,q_1,q_2,q_3\right)\\ & =\sum _{q_1=1}^k\sum _{q_2=1}^k\sum _{q_3=1}^{k}p(y_3|y_1,y_2,q_1,q_2,q_3)\times p(y_1,y_2,q_1,q_2,q_3)\\ & =\sum _{q_1=1}^k\sum _{q_2=1}^k\sum _{q_3=1}^{k}p(y_3|q_3)\times p(y_1,y_2,q_1,q_2,q_3)\\ & =\sum _{q_1=1}^k\sum _{q_2=1}^k\sum _{q_3=1}^{k}p(y_3|q_3)\times p(q_3|y_1,y_2,q_1,q_2)\times (y_1,y_2,q_1,q_2)\\ & =\sum _{q_1=1}^k\sum _{q_2=1}^k\sum _{q_3=1}^{k}p(y_3|q_3)\times p(q_3|q_2)\times (y_1,y_2,q_1,q_2)\\ & =\sum _{q_1=1}^k\sum _{q_2=1}^k\sum _{q_3=1}^{k}p(y_3|q_3)\times p(q_3|q_2)\times p(y_2|q_2)\times p(q_2|q_1)\times p(y_1|q_1)\times p(q_1)\end{array}$$
所以现在还差了一个$p(q_1)$，所以现在需要一个初始状态的概率，所以我们还需要一个参数$\pi$

HMM三个主要的操作如下：
$$\begin{array}{rl}& \text{ Evaluate }p(Y\mid \lambda )\\ & {\lambda }_{\text{MLE }}=\underset{\lambda }{\mathrm{argmax}}p(Y\mid \lambda )\\ & \underset{Q}{\mathrm{argmax}}p(Y\mid Q,\lambda )\end{array}$$
下面首先讨论Evaluation

如何应用HMM，以语音识别为例，例如找50个人说同样的cat或者dog…

$${\lambda }_{cat}=\underset{\lambda }{\mathrm{argmax}}logP(y_{(1)}^{(1)},y_{(2)}^{(2)}...|\lambda )$$
之后我们想要干嘛？语音识别，有个人说了一段从来没有听说过的录音，现在可以去评估说哪个单词的概率最高，即Evaluate

下面来看Evaluation，即有了$\lambda$来估计观测值：
$$P\left(y_1...y_T\mid \lambda \right)$$

$$=\sum _{q_1=1}^k\sum _{q_2=1}^k\dots \sum _{q_T=1}^k\underbrace{P\left(y_1\dots .y_T,q_1\dots q_T\right)}$$

通常计算的方法如下所示：通常计算的方法如下所示：
$$\begin{array}{rl}p(Y\mid \lambda )& =\sum _Q[p(Y,Q\mid \lambda )]=\sum _{q_1=1}^k\dots ,\sum _{q_T=1}^k\left[p\left(y_1,\dots ,y_T,q_1,\dots q_T\mid \lambda \right)\right]\\ & =\sum _{q_1=1}^k\dots ,\sum _{q_T=1}^k\left[p\left(y_1,\dots ,y_T,q_0,q_1,\dots q_T\mid \lambda \right)\right]\\ & =\sum _{q_1=1}^k\dots ,\sum _{q_T=1}^{k}p\left(q_1\right)p\left(y_1\mid q_1\right)p\left(q_2\mid q_1\right)\dots p\left(q_t\mid q_{t-1}\right)p\left(y_t\mid q_t\right)\\ & =\sum _{q_1=1}^k\dots ,\sum _{q_T=1}^k\pi \left(q_1\right)\prod _{t=2}^T{a}_{q_{t-1},q_t}\prod _{t=1}^T{b}_{q_t}\left(y_t\right)\end{array}$$

其中，定义转移概率为转移概率矩阵的第$i$行，第$j$列：$p\left(q_t=j\mid q_{t-1}=i\right)\equiv a_{i,j}$，同时定义测量概率为：$p\left(y_t\mid q_t=j\right)\equiv b_j\left(y_t\right)$。注意到这里有$k^T$个可能的$Q$值，所以我们需要更简单的方法。

3. 引入$\alpha ,\beta$便于Evaluate

存在的问题，运算量太大了！所以这里假设一个$\alpha$和$\beta$

联合概率：
$${\alpha }_i(t)=p\left(y_1,y_2,\dots y_t,q_t=i\right)$$
按照以上概率：
$${\alpha }_i(1)=p\left(y_1,q_1=i\right)=p(y_1|q_1=i)\times p(q_1=i)=b_i(y_1)\cdot \pi (q_1)$$

对于${\alpha }_i(2)$，由于$P\left(y_2\mid q_2=j\right)$一项与$i$没有关系：

$$\begin{array}{rl}{\alpha }_i(2)& =p(y_1,y_2,q_2=j)\\ & =\sum _{i=1}^{k}p(y_1,y_2,q_1=i,q_2=j)\\ & =\sum _{i=1}^{k}p\left(y_2\mid q_2=j\right)\cdot p\left(q_1=j\mid q_1=i\right)\cdot \underset{{\alpha }_i(1)}{\underbrace{p\left(y_1,q_1=i\right)}}\\ & =\underset{b_j(y_2)}{\underbrace{p\left(y_2\mid q_2=j\right)}}\sum _{i=1}^k\underset{a_{i,j}}{\underbrace{p\left(q_1=j\mid q_1=i\right)}}{\alpha }_i(1)\\ & =b_j(y_2)\sum _{i=1}^k{a}_{i,j}{\alpha }_i(1)\\ & ...\\ {\alpha }_j(t+1)& =\left[\sum _{i=1}^k{\alpha }_i(t)a_{i,j}\right]b_j\left(y_{t+1}\right)\\ & ...\\ {\alpha }_i(T)& =b_j\left(y_T\right)\left[\sum _{i=1}^k{a}_{i,j}{\alpha }_i(T-1)\right]\end{array}$$

现在只有$k\times T$个运算量而不是$K^T$了，所以到此为止，我们定义了前向过程：
$${\alpha }_i(t)=p\left(y_1,y_2,\dots y_t,q_t=i\mid \lambda \right)⟹p(Y\mid \lambda )=\sum _{i=1}^k{\alpha }_i(T)$$

这是最后在t时处于状态i部分序列$y_1,\dots ,y_t$的概率。

现在的运算量只有KT而不是K^T：
$$P\left(y_1\dots y_T\right)=\sum _{j=1}^k{\alpha }_j(T)$$

以上讲解的都是Evaluate，现在讲怎么把$\lambda$学出来

4. EM算法参数学习

EM算法：

$${\theta }^{(g+1)}=\underset{\theta }{\mathrm{argmax}}{\int }_Q\log P(Y,Q)\cdot P\left(Q\mid Y,{\theta }^{(g)}\right)\cdot dQ$$
因为$P\left(Q,Y\mid {\theta }^{(g)}\right)$=$P\left(Q\mid Y,{\theta }^{(g)}\right)\cdot P(Y\mid {\theta }^{(g)})$，由于最后一项与$\theta$没有关系，与$Q$没有关系，这是一个常数，乘不乘对结果没有影响，所以我们写成：
$${\theta }^{(g+1)}=\underset{\theta }{\mathrm{argmax}}{\int }_Q\log P(Y,Q)\cdot P\left(Q,Y\mid {\theta }^{(g)}\right)\cdot dQ$$
之前我们已经知道：
$$\begin{array}{rl}p(Y\mid \lambda )& =\sum _Q[p(Y,Q\mid \lambda )]=\sum _{q_1=1}^k\dots ,\sum _{q_T=1}^k\left[p\left(y_1,\dots ,y_T,q_1,\dots q_T\mid \lambda \right)\right]\\ & =\sum _{q_1=1}^k\dots ,\sum _{q_T=1}^k\left[p\left(y_1,\dots ,y_T,q_0,q_1,\dots q_T\mid \lambda \right)\right]\\ & =\sum _{q_1=1}^k\dots ,\sum _{q_T=1}^{k}p\left(q_1\right)p\left(y_1\mid q_1\right)p\left(q_2\mid q_1\right)\dots p\left(q_t\mid q_{t-1}\right)p\left(y_t\mid q_t\right)\\ & =\sum _{q_1=1}^k\dots ,\sum _{q_T=1}^k\pi \left(q_1\right)\prod _{t=2}^T{a}_{q_{t-1},q_t}{b}_{q_t}\left(y_t\right)\end{array}$$
所以前一个式子即为：
$$\begin{array}{rl}{\theta }^{(g+1)}& =\underset{\theta }{\mathrm{argmax}}{\int }_Q\log [p\left(q_1\right)\prod _{t=2}^T{a}_{q_{t-1},q_t}\prod _{t=1}^T{b}_{q_t}\left(y_t\right)]\cdot P\left(Q,Y\mid {\theta }^{(g)}\right)\cdot dQ\\ & =\sum _{q_1=1}^k\dots ,\sum _{q_T=1}^k[\log \pi \left(q_1\right)+\sum _{t=2}^T\log a_{q_{t-1},q_t}+\sum _{t=1}^T\log b_{q_t}\left(y_t\right)]\cdot P\left(Q,Y\mid {\theta }^{(g)}\right)\end{array}$$

对于每一个term，可以分别由观测数据学习其对应参数，例如对于$\pi$：
$${\mathcal{Q}}^{\mathrm{term}1}=\sum _{q_0=1}^k\cdots \sum _{q_T=1}^k\ln {\pi }_{q_0}p\left(q,Y\mid {\lambda }^{(g)}\right)=\sum _{i=1}^k\ln {\pi }_{i}p\left(q_0=i,Y\mid {\lambda }^{(g)}\right)$$
约束条件：
$$\arg \max \left({\mathcal{Q}}^{\text{term }1}\right)\text{ with }\sum _{i=1}^k{\pi }_i=1$$
使用拉格朗日中值定理：
$${\mathbb{L}\mathbb{M}}^{\text{term }1}=\sum _{i=1}^k\ln {\pi }_{i}p\left(q_0=i,Y\mid {\lambda }^{(g)}\right)+\tau \left(\sum _{i=1}^k{\pi }_i-1\right)$$
对两项求导，令其等于0：
$$\frac{\partial \mathbb{L}{\mathbb{M}}^{\text{term }1}}{\partial {\pi }_i}=\frac{p\left(q,Y\mid {\lambda }^{(g)}\right)}{{\pi }_j}+\tau =0\frac{\partial \mathbb{L}{\mathbb{M}}^{\text{term }1}}{\partial \tau }=\sum _{i=1}^k{\pi }_i-1=0$$
$$p\left(q_0=i,Y\mid {\lambda }^{(g)}\right)=-\tau {\pi }_i$$
为了使用到约束条件，两边相加：
$$\sum _{i=1}^{k}p\left(q_0=i,Y\mid {\lambda }^{(g)}\right)=-\tau \sum _{i=1}^k{\pi }_i=-\tau$$
代入可得：
$${\pi }_i=\frac{p\left(q_0=i,Y\mid {\lambda }^{(g)}\right)}{-\tau }⟹{\pi }_i=\frac{p\left(q_0=i,Y\mid {\lambda }^{(g)}\right)}{{\sum }_{i=1}^{k}p\left(q_0=i,Y\mid \lambda (g)\right)}$$

小结

基本算是入了一个门，主要在听思路，三个典型问题的第三个这个视频没有讲，应该需要用维特比(Viterbi)算法进行递归，这个不会；EM算法公式怎么推的很不会。