12、深度神经网络的多通道原始语音处理技术

深度神经网络的多通道原始语音处理技术

1. 引言

在自动语音识别（ASR）领域，虽然先进的ASR系统在近讲麦克风条件下表现良好，但当麦克风与用户距离较远时，性能会显著下降。在远场情况下，语音信号会受到混响和附加噪声的干扰。为了提高识别性能，ASR系统常使用多麦克风信号来增强语音信号，减少混响和噪声的影响。

多通道ASR系统通常使用独立的模块进行识别。首先进行麦克风阵列语音增强，一般分为定位、波束形成和后滤波阶段，得到的单通道增强信号再传递给传统声学模型。常用的增强技术是滤波求和波束形成，它通过定位来调整不同麦克风信号的时间对齐，以补偿目标说话者到每个麦克风的传播延迟，然后对时间对齐的信号进行滤波和求和，增强目标方向的信号并抑制其他方向的噪声。常用的滤波器设计准则基于最小方差无失真响应（MVDR）或多通道维纳滤波（MWF）。

然而，当目标是提高ASR性能时，独立调整增强模型和声学模型可能并非最优。为此，有人提出了似然最大化波束形成（LIMABEAM），它能联合优化波束形成器参数和声学模型参数，表现优于传统的延迟求和波束形成技术。但LIMABEAM是基于模型的方案，需要迭代算法在声学模型推理和增强模型参数优化之间交替进行，与使用梯度学习的声学模型结合时会增加复杂性。

本文将在深度神经网络（DNN）框架下，直接在原始信号上训练声学模型，扩展联合波束形成和声学建模的思想。DNN具有吸引力，因为它能同时进行特征提取和分类。此前已有研究证明可以直接在原始单通道时域波形样本上训练深度网络。本文的目标是探索多种不同的联合增强/声学建模DNN架构，处理多通道信号，并证明联合优化两个阶段比级联独立调整的增强算法和声学模型更有效。

2. 不同架构探索