51、端到端语音识别技术解析

端到端语音识别技术解析

1. 引言

传统的自动语音识别（ASR）系统通常将基本方程 $W^ = \argmax_{W\in V^ }P(W|X)$ 利用贝叶斯定理拆分为声学模型、词典模型和语言模型。这种方法严重依赖条件独立假设，且不同模型需分别优化。

深度学习最初被引入统计框架时，是用其替代高斯混合模型，基于观测来预测语音状态。但DNN/HMM混合模型的一个缺点是各组件需单独训练，这可能导致次优结果，因为模型间缺乏误差传播。在ASR中，这些缺点表现为对噪声和说话人变化敏感。

端到端ASR应用深度学习，使模型能直接从数据中学习，而非依赖大量人工设计的特征。端到端方法直接优化 $P(W|X)$，而非将其拆分。输入 - 目标对只需语音话语和转录的语言表示，可能的表示形式包括音素、三音素、字符、字符n - 元组或单词。虽然单词是更明显的选择，但词汇量大会导致输出层庞大，且训练时需要每个单词的示例，准确率低于其他表示形式。近年来，端到端方法倾向于使用字符、字符n - 元组和一些单词模型。联合优化特征提取和序列组件有诸多好处，如降低复杂度、加快处理速度和提高质量。

实现端到端ASR的关键是找到替代HMM来建模语音时间结构的方法，最常见的是连接主义时间分类（CTC）和注意力机制。

2. 连接主义时间分类（CTC）

2.1 CTC原理

DL - HMM模型依赖语言单元与音频信号的对齐来训练DNN进行音素、音子或三音素状态分类。手动获取这些对齐对于大型数据集来说成本过高。连接主义时间分类（CTC）提供了一种直接训练RNN对未分割序列进行标记的方法。

给定声学输入 $X