A Convolutional Recurrent Neural Network for Real-Time Speech Enhancement

A Convolutional Recurrent Neural Network for Real-Time Speech Enhancement

文章：A Convolutional Recurrent Neural Network for Real-Time Speech Enhancement
作者：Ke Tan, DeLiang Wang

ABSTRACT

现实生活中许多语音增强的应用都需要实时处理，最好没有延迟或者低延迟，例如助听器和人工耳蜗。本文提出了CRN的网络结构实现单通道语音增强。把CED和LSTM结合到CRN架构中，形成一个实时处理的因果系统。而且，所提出的模型中噪声与说话人无关，即噪声类型和说话人在训练集和测试集中可以是不同的，实验表明CRN比现存的LSTM模型表现出更好的PESQ和STOI。而且，CRN所需的参数更少。
关键字：噪声和说话人无关的语音增强。实时应用，CED，LSTM,CRN

Introduction

语音分离旨在将目标说话人从背景干扰噪声中分离出来，包括非语音噪声，干扰语音和房间混响。语音增强涉及到分离语音和非语音噪声，生活中有各种各样的应用，例如：鲁棒性自动语音识别和移动设备语音交流。这些都需要实时处理，换句话说，语音增强应该被表现为低计算复杂度，并且提供瞬时输出。
文章中，我们集中于可运行在实时应用中的单通道语音增强，例如，在数字助听器中，对于听的人来说，3毫秒的延迟就很明显，大于10毫秒的延迟则令人讨厌。对于这些应用，需要一个没有未来信息的因果语音增强系统。
受CASA中时频掩蔽的启发，近年来语音分离被作为监督学习任务进行研究，使用DNN来学习噪声特征到时频掩蔽的mapping。IBM是第一个在监督语音分离中使用的目标，他把时频单元归为语音域或噪声域。最近提出的训练目标包括IRM，和基于mapping的特征，对应于目标语音的功率或幅度谱。此项研究中，我们使用了目标语音的幅度谱作为训练目标。
对于有监督的语音增强，噪声泛化和说话人泛化同样重要，处理噪声泛化的一个简单有效的方法是训练不同类型的噪声，类似的，处理说话人泛化也是这样，训练集中包含了大量的说话人，然而，许多研究发现DNN的前向传播不能跟踪训练集中的多个说话人，典型的，DNN从帧周围