35、端到端语音识别架构解析

端到端语音识别架构解析

1. 端到端语音识别概述

端到端自动语音识别（ASR）旨在学习从语音到转录文本（或任何“意义表示”）的直接映射，无需像传统管道那样组合各个组件并使用中间优化函数。借助连接主义时间分类（CTC）和基于注意力的编码器 - 解码器模型等方法，语音识别成为一个联合学习过程，概念上变得非常简单。

2. 模型训练

在模型训练阶段，定义了增强标签序列 $\lambda(l, k) = {u | l_u = k}$，用于返回标签序列 $l$ 中值为 $k$ 的元素。目标函数关于 $y_t^k$ 的导数可推导为：
$\frac{\partial \ln p(z|X)}{\partial y_t^k} = \frac{1}{p(z|X)} \frac{1}{y_t^k} \sum_{u \in \lambda(l, k)} \alpha_t^u \beta_t^u$

这些误差通过softmax层反向传播到循环神经网络（RNN）中，以更新模型参数。为了充分利用图形处理单元（GPU）的计算能力，会同时并行处理多个语音片段。具体操作如下：
- 并行处理 ：将单帧的矩阵 - 向量乘法替换为多帧的矩阵 - 矩阵乘法，从而加快模型训练速度。
- 填充操作 ：在一组并行语音片段中，将每个语音片段填充到该组中最长语音片段的长度，但填充帧不参与梯度计算和参数更新。
- 排序处理 ：为进一步加速训练，将训练语音片段按长度从短到长排序，使同一组中的语音片段长度大致相同，以减少填充帧的数量。

CTC评估也