ASR HMM-GMM公式推导

#1 语音识别技术原理
(未整理->可参考链接：语音识别的技术原理是什么？)
#2 语音识别特征提取方法:MFCC
(未整理->可参考链接：)

1. 语音信号处理之（四）梅尔频率倒谱系数（MFCC）
2. 声学特征（二） MFCC特征原理
3. MFCC提取详细及Matlab实现

3语音识别编程语言包

未整理-可参考链接：几种不同程序语言的HMM版本

#4 推荐论文
未整理-可参考链接：深度学习入门论文（语音识别领域）

5 语音识别书籍

未整理-可参考链接：语音识别实践-英文版
密码：zmja

6 关键模型:GMM-HMM

#6.1符号定义
$a_{ij}=a_{ij}(t)=P(q_t=i,q_{t+1}=j)$:由$t$时刻的状态$i$到$t+1$时刻的状态$j$的转移概率且有$a_{ij}(t)=a_{ij}(t+1),t=1,2,...,T$
$b_j(o_t)=P(q_t=j,o_t)$:在第t时刻状态j发出$o_t$的概率
隐藏状态集合$I$且$|I|=n$,$|\ast |$表示集合个数
时间状态集合 Q = { q 1 ↦ q 2 ↦ . . . ↦ q T ∣ q t ∈ I , t = 1 , 2 , . . . , T } Q=\{q_1 \mapsto q_2 \mapsto ... \mapsto q_T|q_t\in I,t=1,2,...,T\} Q={q1​↦q2​↦...↦qT​∣qt​∈I,t=1,2,...,T}
输出集合$O$， O = { o 1 ↦ o 2 ↦ o 3 ↦ , . . . . , ↦ o n } O=\{o_1 \mapsto o_2 \mapsto o_3\mapsto ,....,\mapsto o_n\} O={o1​↦o2​↦o3​↦,....,↦on​}
参数集合 λ = { a , b ∣ a i j ∈ a , b j ∈ b , i = 1 , 2 , . . . , n , j = 1 , 2 , 3 , . . . , n } \lambda=\{a,b|a_{ij}\in a,b_j\in b,i=1,2,...,n,j=1,2,3,...,n\} λ={a,b∣aij​∈a,bj​∈b,i=1,2,...,n,j=1,2,3,...,n}

---

6.2: GMM-HMM模型示意图

---

6.3:推导过程

该推导最终目标是期望求解GMM-HMM模型中涉及参数：$\lambda$，
采用极大似然估计方法进行求解：
$\max P(O|\lambda )=\max \log (P(O|\lambda ))=\max \log ({\sum }_{Q}P(O，Q|\lambda ))$
直接求解带有隐藏状态的$\lambda$是比较困难的，采用EM算法进行迭代求解，详细方法见参考文章1：

$\max \log ({\sum }_{Q}P(O，Q|\lambda ))=\max \log ({\sum }_Q(P(Q|O,\bar{\lambda })\frac{P(O，Q|\lambda )}{P(Q|O,\bar{\lambda })}))\ge \max {\sum }_{Q}P(Q|O,\bar{\lambda })\log (\frac{P(O,Q|\lambda )}{P(Q|O,\bar{\lambda })})$ ，
其中${\sum }_{Q}P(Q|O,\bar{\lambda })=1$
由于$P(Q|O,\bar{\lambda })$是常数，所以上式等价于
$\max P(O|\lambda )\ge \max {\sum }_{Q}P(Q|O,\bar{\lambda })\log (P(O，Q|\lambda ))$，
该公式可以看出$\max P(O|\lambda )$的下界是${\sum }_{Q}P(Q|O,\bar{\lambda })\log (P(O，Q|\lambda ))$的上面，因此只要不断迭代优化${\sum }_{Q}P(Q|O,\bar{\lambda })\log (P(O，Q|\lambda ))$,那么当${\sum }_{Q}P(Q|O,\bar{\lambda })\log (P(O，Q|\lambda ))$取得最优的时候，$\max P(O|\lambda )$的参数$\lambda$便是最优参数。
由于$P(O，Q|\lambda )={\pi }_{q_0}\cdot a_{q_0{q}_1}{b}_{q_1}(x_1)\cdot a_{q_1{q}_2}{b}_{q_2}(x_2)\cdot a_{q_2{q}_3}{b}_{q_2}(x_2)\cdot ....a_{q_{T-1}{q}_T}{b}_{q_T}(x_T)$
所以有：
$\log (P(O，Q|\lambda ))=\log ({\pi }_{q_0}\cdot a_{q_0{q}_1}{b}_{q_1}(x_1)\cdot a_{q_1{q}_2}{b}_{q_2}(x_2)\cdot a_{q_2{q}_3}{b}_{q_2}(x_2)\cdot ....a_{q_{T-1}{q}_T}{b}_{q_T}(x_T))=log({\pi }_{q_0})+log(b_{q_1(x_1)}{b}_{q_2(x_2)}...b_{q_T(x_T)})+\log (a_{q_0{q}_1}{a}_{q_1{q}_2}...a_{q_{T-1}{q}_T})=\log ({\pi }_{q_0})+{\sum }_{t=1}^T\log (b_{q_t}(x_t))+{\sum }_{t=1}^T\log (a_{q_{t-1}{q}_t})$
往下有：
${\sum }_{Q}P(Q|O,\bar{\lambda })\log (P(O，Q|\lambda ))={\sum }_{Q}P(Q|O,\bar{\lambda })(\log ({\pi }_{q_0})+{\sum }_{t=1}^T\log (b_{q_t}(x_t))+{\sum }_{t=1}^T\log (a_{q_{t-1}{q}_t}))={\sum }_{Q}P(Q|O,\bar{\lambda })\log ({\pi }_{q_0})+{\sum }_{Q}P(Q|O,\bar{\lambda }){\sum }_{t=1}^T\log (b_{q_t}(x_t))+{\sum }_{Q}P(Q|O,\bar{\lambda }){\sum }_{t=1}^T\log (a_{q_{t-1}{q}_t})={\sum }_{Q}P(Q|O,\bar{\lambda })\log ({\pi }_{q_0})+{\sum }_Q{\sum }_{t=1}^{T}P(Q|O,\bar{\lambda })\log (b_{q_t}(x_t))+{\sum }_Q{\sum }_{t=1}^{T}P(Q|O,\bar{\lambda })\log (a_{q_{t-1}{q}_t})$
对上面式子换一种写法：
${\sum }_{Q}P(Q|O,\bar{\lambda })\log ({\pi }_{q_0})+{\sum }_Q{\sum }_{t=1}^{T}P(Q|O,\bar{\lambda })\log (b_{q_t}(x_t))+{\sum }_Q{\sum }_{t=1}^{T}P(Q|O,\bar{\lambda })\log (a_{q_{t-1}{q}_t})={\sum }_{i=1}^{n}P(q_0=i|O,\bar{\lambda })\log ({\pi }_{q_0})+{\sum }_{i=1}^n{\sum }_{t=1}^{T}P(q_t=i|O,\bar{\lambda })\log (b_{q_t}(x_t))+{\sum }_{i=1}^n{\sum }_{j=1}^n{\sum }_{t=1}^{T}P(q_t=i,q_{t+1}=j|O,\bar{\lambda })\log (a_{ij})$
令
$L(a,b)={\sum }_{i=1}^{n}P(q_0=i|O,\bar{\lambda })\log ({\pi }_{q_0})+{\sum }_{i=1}^n{\sum }_{t=1}^{T}P(q_t=i|O,\bar{\lambda })\log (b_{q_t}(x_t))+{\sum }_{i=1}^n{\sum }_{j=1}^n{\sum }_{t=1}^{T}P(q_t=i,q_{t+1}=j|O,\bar{\lambda })\log (a_{ij})$
且定义：
$$L(a,b)=L_1(a,b)+L_2(a,b)+L_3(a,b)$$
$$L_1(a,b)=\sum _{i=1}^{n}P(q_0=i|O,\bar{\lambda })\log ({\pi }_{q_0})$$
$$L_2(a,b)=\sum _{i=1}^n\sum _{t=1}^{T}P(q_t=i|O,\bar{\lambda })\log (b_{q_t}(x_t))$$
$$L_3(a,b)=\sum _{i=1}^n\sum _{j=1}^n\sum _{t=1}^{T}P(q_t=i,q_{t+1}=j|O,\bar{\lambda })\log (a_{ij})$$
可以看出$L_2(a,b)$和$L_3(a,b)$是可以相互独立优化的部分，其中$L_2(a,b)$是关于参数$b$的优化项，$L_3(a,b)$是关于参数$a$的优化项,而$L_1(a,b)$虽然跟$L_2(a,b)$和$L_3(a,b)$相关联，但在实际求解过程中可以先固定$q_0$的取值，然后再优化$L_2(a,b)$和$L_3(a,b)$，可进一步阅读参考文章2

在求解 λ = { a , b } \lambda=\{a,b\} λ={a,b}的参数之前,需要先推导一下$L_2(a,b)$和$L_3(a,b)$
中的$P(q_t=i|O,\bar{\lambda })$和$P(q_t=i,q_{t+1}=j|O,\bar{\lambda })$的计算方法，即比较被熟知的
前向（Forward）算法和后向算法。在推导过程中，贝叶斯公式
$P(AB)=P(A|B)P(B)$及其变形$P(A|B)=\frac{P(AB)}{P(B)}$ 将被反复使用。
在推导之前，先定义符号 O t t + m = { o t → o t + 1 → . . . → o t + m } O_t^{t+m}=\{o_{t}\rightarrow o_{t+1}\rightarrow ...\rightarrow o_{t+m}\} Ott+m​={ot​→ot+1​→...→ot+m​}
$P(q_t=i|O,\bar{\lambda })=\frac{P(q_t=i,O|\bar{\lambda })}{P(O|\bar{\lambda })}=\frac{P(q_t=i,O_1^T|\bar{\lambda })}{P(O|\bar{\lambda })}=\frac{P(q_t=i,O_1^t,O_{t+1}^T|\bar{\lambda })}{P(O|\bar{\lambda })}=\frac{P(O_{t+1}^T|q_t=i,O_1^t,\bar{\lambda })P(q_t=i,O_1^t|\bar{\lambda })}{P(O|\bar{\lambda })}=\frac{P(O_{t+1}^T|q_t=i,\bar{\lambda })P(q_t=i,O_1^t|\bar{\lambda })}{P(O|\bar{\lambda })}$
再定义${\alpha }_t(i)=P(q_t=i,O_1^t|\bar{\lambda }),{\beta }_t(i)=P(O_{t+1}^T|q_t=i,\bar{\lambda })$
那么$P(q_t=i|O,\bar{\lambda })={\alpha }_t(i){\beta }_t(i)$, 其中，
${\alpha }_t(i)=P(q_t=i,O_1^t|\bar{\lambda })={\sum }_{h=1}^{n}P(q_{t-1}=h,q_t=i,O_1^{t-1},o_t|\bar{\lambda })={\sum }_{h=1}^{n}P(q_t=i,o_t|q_{t-1}=h,O_1^{t-1},\bar{\lambda })P(q_{t-1}=h,O_1^{t-1},\bar{\lambda })={\sum }_{h=1}^{n}P(q_t=i,o_t|q_{t-1}=h)P(q_{t-1}=h,O_1^{t-1},\bar{\lambda })={\sum }_{h=1}^{n}P(o_t|q_t=i,q_{t-1}=h)P(q_t=i,q_{t-1}=h)P(q_{t-1}=h,O_1^{t-1},\bar{\lambda })={\sum }_{h=1}^n{b}_i(o_t)a_{hi}{\alpha }_{t-1}(h)={\sum }_{h=1}^n{\alpha }_{t-1}(h)a_{hi}{b}_i(o_t)$
和：
${\beta }_t(i)={\beta }_t(i)=P(O_{t+1}^T|q_t=i,\bar{\lambda })={\sum }_{j=1}^{n}P(q_{t+1}=j,O_{t+1}^T|q_t=i,\bar{\lambda })={\sum }_{j=1}^{n}P(q_{t+1}=j,o_{t+1},O_{t+2}^T|q_t=i,\bar{\lambda })={\sum }_{j=1}^{n}P(O_{t+2}^T|q_{t+1}=j,o_{t+1},q_t=i,\bar{\lambda })P(q_{t+1}=j,o_{t+1},q_t=i,\bar{\lambda })={\sum }_{j=1}^{n}P(O_{t+2}^T|q_{t+1}=j)P(q_{t+1}=j,o_{t+1},q_t=i,\bar{\lambda })={\sum }_{j=1}^n{\beta }_{t+1}(j)P(q_{t+1}=j,o_{t+1},q_t=i,\bar{\lambda })={\sum }_{j=1}^n{\beta }_{t+1}(j)P(o_{t+1}|q_{t+1}=j,\bar{\lambda })P(q_{t+1}=j|q_t=i,\bar{\lambda })={\sum }_{j=1}^n{\beta }_{t+1}(j)a_{ij}bj(o_{t+1})={\sum }_{j=1}^n{a}_{ij}bj(o_{t+1}){\beta }_{t+1}(j)$

显然,$P(O|\lambda )={\sum }_{i=1}^{n}P(q_t=i,O_1^t,O_{t+1}^T|\lambda )={\sum }_{i=1}^{n}P(O_{t+1}^T|q_t=i,O_1^t,\lambda )P(q_t=i,O_1^t|\lambda )={\sum }_{i=1}^n{\alpha }_t(i){\beta }_t(i)$
或者$P(O|\lambda )={\sum }_{i=1}^{n}P(q_T=i,O_1^T|\lambda )={\sum }_{i=1}^n{\alpha }_T(i)$
未完待续。。。。

7.参考文章

1. EM算法与GMM的训练应用
2. HMM的Baum-Welch算法和Viterbi算法公式推导细节
3. GMM-HMM语音识别模型 原理篇
4. MFCC提取详细及Matlab实现