语音识别中的CE准则和MMI准则——内含详细参数更新过程

CE准则和MMI准则

  Cross-Entropy准则和MMI准则分别是两种不同的训练方法ML和DT的常用的准则。而ML和DT训练方法的核心思想分别来自于MLE和MAP。

  ML（Maximum Likelihood），即极大似然估计。
  DT（Discriminative Training），即鉴别性训练。
  MLE(Maximum Likelihood Estimate)，即极大似然估计。
  MAP(Maximum A Posteriori Estimation)，即最大后验概率。
 
 
  回顾语音识别最基本的公式:
$$P(Y|O)=\frac{P(O|W)P(W)}{P(O)}$$
其中W为word sequence，O为observe feature.
 
 
对语音识别问题应用贝叶斯风险对分类错误风险进行描述,可得参数优化的目标函数。

  对于ML来说，其参数优化的目标函数是：
$${\hat{\theta }}_{ML}=\arg \underset{\theta }{\max }{P}_{\theta }(O|W)$$
 
 
  对于DT来说，其参数优化的目标函数是：
$${\hat{\theta }}_{DT}=\arg \underset{\theta }{\max }{P}_{\theta }(W|O)=\arg \underset{\theta }{\max }\frac{P_{\theta }(O|W)P_{(}W)}{P_{\theta }(O)}=\arg \underset{\theta }{\max }\frac{P_{\theta }(O|W)P_{(}W)}{{\sum }_{\omega }{P}_{\theta }(O|\omega )P(\omega )}$$
其中,$\omega$表示组成word sequence的所有可能路径。
注意：实际上这里给出的目标函数为MMI准则的目标函数，因为大部分鉴别性训练的目标函数均源于该目标函数的变形。这里指的“DT目标函数”只是一个广义的概念。

  通过对比我们不难发现：对于ML，只需要优化参数$\theta$使得给定训练word sequence得到当前feature的概率最大（也就是声学模型的概率最大）即可。对于DT，则需要一步到位，直接优化参数$\theta$使得当前feature得到word sequence的概率最大。

  用通俗的话来理解，ML是针对每一帧进行分类的优化，最小化每一帧的错误率。对于DT，则是直接针对句子进行优化，最大化观察序列分布与标注序列分布之间的相似性，直接减小句子错误率。

1. CE准则

对于分类任务，Cross Entropy准则经常被使用,
$$J_{CE}(\theta ;S)=\frac{1}{M}\sum _{m=1}^M{J}_{CE}(\theta ;o^m,w^m)$$
$$J_{CE}(\theta ;o,w)=-\sum _{i=1}^C{w}_i\log v_i^L$$
其中,$M$表示训练样本的个数，$\theta$表示模型参数，$o^m$表示第m个观察向量，$w^m$表示相应的输出向量。$w_i=P_{emp}(i|o)$是观察向量$o$属于类$i$的经验概率分布，该分布从训练数据的标注中来（下文会有相关描述）。$v_i^L=P_{dnn}(i|o)$表示由DNN预测得到的观察向量$o$属于类$i$的概率分布。
  交叉熵描述了两个概率分布之间的距离，交叉熵越小，两个概率分布越接近。最小化CE准则等价于最小化“经验概率分布”与“DNN估计得到的概率分布”的KL距离。
 
 
  一般来说，描述“经验概率分布”会使用硬标注，即
$$w_i=\{\begin{array}{ll}1,& \text{观察序列=标注序列}\\ 0,& \text{else}\end{array}$$
故上述的CE准则会退化成为负的对数似然准则（negative log-likelihood,NLL）
$$J_{NLL}(\theta ;o,w)=-\sum _{i=1}^C\log v_i^L$$

2. MMI准则

2.1MMI准则推导

  MMI准则（最大互信息量准则），该准则旨在最大化单词序列分布和观察序列分布的互信息。

  令$W$表示语音中所含信息的随机变量例如音素、孤立词、词串等，$w$为它的实例。令$O$为表示观测序列的随机变量,$o$为它的实例。从信息论的观点出发,可以说信息$W$被编码为$O$。在$O$给定的情况下,描述对$W$平均不确定性的度量为条件熵$H(W|O)$,被写为：
$$H(W|O)=-\sum _{W,O}p(w,o)\log p(w|o)=-E[\log p(W|O)]$$

  降低这个不确定度，就可以使解码器在解码时做出更“确信”的决断。
 
 
  经过一系列的推导（详见声学模型区分性训练及其在自动语音识别中的应用），该训练准则可以等于最小化：
$$H(W|O)=-\frac{1}{M}\sum _{m=1}^M\log \frac{P(o^m|w^m;\theta )P(w^m)}{{\sum }_{\omega }P(o^m|\omega ;\theta )P(\omega )}$$

  最大互信息量准则还可以看作是对训练集中所有训练语料正确模型序列后验概率的最大化,即最大化:
$$J_{MMI}=\frac{1}{M}\sum _{m=1}^M\log \frac{P(o^m|w^m;\theta )P(w^m)}{{\sum }_{\omega }P(o^m|\omega ;\theta )P(\omega )}$$

其中，$\theta$表示模型参数（weights和biases），$o^m=o_1^m,...,o_t^m,...,o_{T_m}^m$表示第m个样本的观察序列，$w^m=w_1^m,...,w_t^m,...,w_{N_m}^m$表示第m个样本的单词标注序列。M为训练集样本个数。$\omega$表示组成单词序列的所有可能路径。

注意：
（1）为了便于理解，上文并没有引入标注序列$w^m$的状态序列$s^m$。在完整的公式当中，需要将标注序列$w^m=w_1^m,...,w_t^m,...,w_{N_m}^m$拆分成状态序列$s^m=s_1^m,...,s_t^m,...,s_{T_m}^m$，使观察序列的每个值$o_t^m$均与一个状态值$s_t^m$对应。（若建模的单元是音素，标注序列拆分为标注序列就可以理解为将单词序列拆分成为对应的音素序列。状态序列将通过强制对齐获得。）
（2）因为声学模型得到的值和语言模型得到的值之间会存在一定的不适配，还需要一个声学缩放系数$\kappa$使两个模型的比例关系协调。
完整的MMI准则可以表示为：
J M M I = 1 M ∑ m = 1 M log ⁡ P ( o m ∣ s m ; θ ) κ P ( w m ) ∑ ω P ( o m ∣ ω ; θ ) κ P ( ω ) J_{MMI}=\frac{1}{M}\sum_{m=1}^{M}\log \frac{P(o^m|s^m;\theta)^{\kappa}P(w^m)}{\sum_\omega P(o^m|\omega ;\theta)^\kappa P(\omega)} JMMI​=M1​m=1∑M​log∑ω​P(om∣ω;θ)κP(ω)P<