CONTINUAL SELF-TRAINING WITH BOOTSTRAPPED REMIXING FOR SPEECH ENHANCEMENT

题目：CONTINUAL SELF-TRAINING WITH BOOTSTRAPPED REMIXING FOR SPEECH ENHANCEMENT
时间：2021.10
作者：Efthymios Tzinis1,∗, Yossi Adi2, Vamsi K. Ithapu3, Buye Xu3, Anurag Kumar3
机构：University of Illinois at Urbana-Champaign, 2Facebook AI Research, 3Facebook Reality Labs Research

摘要：

我们提出了Remix IT，一个简单并创新的语音增强自监督训练方法。此方法基于连续自训练模式，这种模式克服了之前研究中的限制，包括域内噪声分布的假设和可获得的纯净语音目标。具体来说，首先在域外数据集上（OOD）预训练一个分离模型。并把他用于推断每个batch中域内mixture的估计目标信号，然后，通过使用排列的估计的干净和噪声信号生成人工mixture。最后，学生模型使用permuted 估计源作为目标训练模型，同时我们使用最新的学生模型周期性更新老师的权重。实验表明RemixIT在多语音增强任务下超越了之前最新的自监督方法，另外，RemixIT在语音增强任务中，在半监督和无监督之间实现了无缝连接，而且本方法能够应用在任何分离任务和分离模型一起使用。

引言：

神经网络已经被发现可以被高效并且广泛应用于大量语音任务上，包括语音增强，语音增强的目的是提升带噪语音的质量和可懂度。最近，有监督的，实时的，半监督的语音增强方法相继出现。大部分方法都是有监督的，训练这样的模型需要大量大量音频数据，并且期望这些训练数据可以和测试数据的分布相匹配，有限的监督数据虽然可得，使用这些数据训练的有监督模型由于不匹配测试数据的分布，测试时性能下降。
为了解决这些问题，减少对于纯监督数据的依赖，一些语音增强和声源分离方法转向了自监督的方法。在[5]中，训练模型估计带噪语音的SNR，并且为每个带噪片段设置一个置信值。其次，分离模型使用权重重构损失过滤带噪真实语音。最近提出的Mix IT已经能够i实现无监督分离，通过人工混合mixture of mixture，并且使分离模型估计和重新排列源混合物。MixIT提供了鲁棒性的无监督解决方法，语音增强方法中也有follow它的，然而，Mix IT假设能获得域内噪声类型并且能够改变输入数据的SNR分布通过在人工MoMs使用多于一种的噪声类型。
教师-学生模型已经在语音任务上表现出很大提升，包括：学生模型在预训练的MIx IT模型的输出上训练，解决了在训练集和测试集分布上，人工创造的SNR不匹配的问题。使用一个能力阈值减少出现在带噪语音的源数量，而且，此外，学生模型可以适应给定的测试集使用回归预先训练的教师的估计。与我们的工作最接近的自训练框架是一个半监督歌声分离，它使用教师在域外监督数据预训练，用来估计更大的域内带噪数据的源。带有新标签的数据集对低质量的分离源进行过滤，并