23、基于正则化增量学习的TCNN鲁棒语音增强

基于正则化增量学习的TCNN鲁棒语音增强

1. 引言

随着语音助手、对话系统、智能家电和汽车等语音应用的兴起，准确的人类语音识别变得愈发重要，不受背景噪音条件的影响。多媒体应用还要求输入人耳的语音或音频无明显噪音。智能家电随时随地可用，智能手机娱乐功能便捷，这使得识别远距离指令和在嘈杂环境中进行视频会议时抑制背景噪音的需求日益迫切。背景音频噪音已成为不可避免且极具挑战性的问题。

语音增强通过抑制背景噪音，在改善人类语音感知和自动语音识别方面发挥着重要作用。早期提出了一些基于信号处理的噪声抑制算法，这些算法通常需要从含噪语音信号中估计噪声统计信息，并据此估计增益函数以获得增强的语音信号。然而，其性能依赖于噪声估计，噪声估计不足会导致残留噪声，过度估计则会造成语音失真。而且，噪声统计信息的估计通常基于对纯净语音和含噪语音分布的某些假设，当这些假设不成立时，基于信号处理的语音增强方法效果不佳。

近年来，提出了基于监督深度学习的语音增强技术，这些技术使用并行的含噪和纯净语音数据进行增强，无需对语音和噪声分布做假设。它们通常通过正向变换到时间 - 频率（T - F）表示、掩码估计，再通过逆变换合成时域输出。但这些技术仅增强频谱幅度，保留含噪相位，可能导致处理输出的感知粗糙度。准确的相位信息有助于提高语音识别准确性，实现高效的人机交互。为此，提出了使用基于编码器 - 解码器架构的深度神经网络从原始波形进行时域语音增强的方法，如在编码器和解码器之间使用时间卷积网络（TCN）来获得增强表示。

虽然基于深度学习的语音增强技术在测试数据中的噪声特征与训练数据相似时表现良好，但在遇到未见噪声环境时性能会下降。直接对预训练模型进行微调以适应新噪声并提高目标域性能的方法，会导致对先前学