12、基于深度神经网络的多通道原始语音处理技术解析

基于深度神经网络的多通道原始语音处理技术解析

1. 引言

在自动语音识别（ASR）领域，先进的系统在近讲麦克风条件下表现良好，但当麦克风离用户较远时，性能会显著下降。在远场情况下，语音信号会受到混响和附加噪声的干扰。为了改善这种情况下的识别效果，ASR 系统通常会使用多个麦克风的信号来增强语音信号，减少混响和噪声的影响。

传统的多通道 ASR 系统常采用独立模块进行识别。首先进行麦克风阵列语音增强，一般分为定位、波束形成和后滤波等阶段，然后将得到的单通道增强信号传递给传统声学模型。常用的增强技术是滤波求和波束形成，它先通过定位对不同麦克风的信号进行时间对齐，以调整目标说话者到每个麦克风的传播延迟，再对每个麦克风的信号进行滤波并求和，从而增强目标方向的信号，抑制其他方向的噪声。常用的滤波器设计准则基于最小方差无失真响应（MVDR）或多通道维纳滤波（MWF）。

然而，当目标是提高 ASR 性能时，独立调整增强模型和声学模型可能并非最优方案。为了解决这个问题，有人提出了似然最大化波束形成（LIMABEAM），它能联合优化波束形成器参数和声学模型参数，且表现优于传统的延迟求和波束形成等技术。但 LIMABEAM 是基于模型的方案，需要在声学模型推理和增强模型参数优化之间进行迭代，与基于梯度学习的声学模型结合时会增加复杂度。

本文将在深度神经网络（DNN）框架下，直接在原始信号上训练声学模型，扩展联合波束形成和声学建模的思路。DNN 具有吸引力，因为它能同时进行特征提取和分类，此前也有研究证明可以直接在原始单通道时域波形样本上训练深度网络。本文的目标是探索多种不同的联合增强/声学建模 DNN 架构，以处理多通道信号，并证明联合优化这两个阶段比级联独立调整的增强算法和声学