Neural Noise Embedding for End to End Speech Enhancement with Conditional Layer Normalization

ICASSP2021

0. 摘要

为了应对各种复杂的噪声场景，本文引入了一种新的增强架构，它将深度自动编码器与神经噪声嵌入相结合。 在这项研究中，引入了一种新的归一化方法，称为条件层归一化 (CLN)，以改进基于深度学习的语音增强方法对unseen environments的泛化。噪声嵌入通过 CLN 层来规范语音增强任务的网络。所提出的网络可以根据从带噪语音输入中提取的不同噪声信息进行自适应调整。 整个网络以端到端的方式进行训练，实验结果表明，该网络模型能够捕获噪声信息，提升模型鲁棒性。

1. 简介

大多基于深度学习的语音增强方法直接从带噪信号中预测纯净语音信号，没有考虑噪声信息。一般来说，训练集中可以包含大量的不同噪声环境，以提升模型的泛化能力和降噪性能。如果可以估计噪声信息，并将其嵌入到网络中作为附加提示，则可以显著缓解噪声噪声类型不匹配的问题。

本文提出了一种新的条件归一化方法(CLN)，用于时域语音增强。带噪信号输入到网络中，学习噪声嵌入(embedding)。在增强网络中，带噪信号通过以噪声嵌入为条件的CLN层，从而得到增强后的信号。所提出的方法中，所有的子网络都使用所提出的损失函数进行端到端训练。

2. 模型方法

本文探索了一种具有 CLN 层 (AECLN) 的新型自动编码器框架，以提高单声道语音增强的泛化能力，整体架构如图1所示。模型包含三个部分：噪声估计网络，残差卷积网络和增强网络。通过噪声估计网络得到噪声嵌入向量$n_{emb}$，然后该向量通过残差卷积网络，以压缩噪声环境特征并提升嵌入特征的表达能力。

2.1 Conditional Layer Normalization

层归一化（LN）是一种对中间层分布进行归一化的技术。 它可以实现更平滑的梯度、更快的训练，并且可以被视为一种正则化机制。channel-wise LN的公式定义如公式（1）所示：

其中 x ∈ R C × T x \in R^{C \times T} x∈R