ICASSP 2023论文模型开源｜语音分离Mossformer

人类能在复杂的多人说话环境中轻易地分离干扰声音，选择性聆听感兴趣的主讲人说话。但这对机器却不容易，如何构建一个能够媲美人类听觉系统的自动化系统颇具挑战性。

本文将详细解读ICASSP2023本届会议收录的单通道语音分离模型Mossformer论文，以及如何基于开发者自有数据进行该模型的调优训练。

▏语音分离模型能做什么？

由于麦克风采集的音频信号中除了主说话人之外，通常还包括噪声、其他人说话的声音、混响等干扰。语音分离的目标即是把独立的目标语音信号从混合的音频信号中分离出来。其应用范围不仅包括听力假体、移动通信、鲁棒的自动语音以及说话人识别等，最近也被广泛应用在各个语音方向的机器学习场景中。

根据干扰的不同，语音分离任务可以是单纯的多说话人分离，也可以包括噪声消除和解混响等附加任务。在没有噪声和混响的情况下，单纯的语音分离任务已经被研究了几十年，从最初的传统信号处理算法如独立分量分析（ICA）和非负矩阵分解（NMF），到最近的基于端到端深度神经网络（DNN）算法，算法的分离性能有了明显的进步。至今，语音分离仍然是一个高度活跃的研究领域，我们最新推出的MossFormer语音分离模型，是在现有深度学习算法的基础上，通过融入更先进的门控注意力机制和带记忆的深度卷积网络，从而更有效地对长语音序列进行建模和学习，大幅提升深度学习分离算法的性能。

目前比较流行的语音分离模型架构一般由三个主要组成模块：编码器、分离器和解码器。编码器的作用是将原始的语音信号转换为高维的表示，类似于傅立叶变换后的频谱信息，但使用的转换不是预先设定好的，而是通过训练模型自己学习到的。分离器的作用是根据输入的高维表示来估计语音的分量，并将其分离成多个独立的语音信号。解码器的作用是将分离出的语音信号重新编码成原始语音信号的形式。下图给出的是语音分离模型架构的示意图：

图1. 语音分离模型架构示意图

分离器模块是影响语音分离性能的关键模块，主要的架构包括深度卷积网络（例如：Conv-TasNet)、循环神经网络（例如：DPRNN)，和Transformer（例如：SepFormer)等，其中基于自注意力机制的Transformer架构在最近的研究中表现出了很好的性能。利用自注意力机制可以有效地捕捉长距离的依赖关系，从而更好地建模语音信号。

与传统的循环神经网络相比，Transformer可以并行计算，提高了计算效率，同时也可以更好地避免梯度消失的问题。基于Transformer的架构在单声道语音分离任务中获得了显著的性能改进，但和最近给出的分离Cramer-Rao上限相比，仍存在明显差距，主要原因在于，由于注意力计算的二次复杂度，Transformer架构的自注意力受限于上下文长度。为了能够处理极长的输入序列，当前的Transformer模型使用双路径框架，将输入序列分成较小的块并分别处理块内和块间的信息，跨块的长距离信息依赖需要通过中间状态隐式建模，这一事实可能对长距离建模能力产生负面影响，导致模型次优表现。

▏2023 ICASSP-MossFormer模型

为了有效解决双路径架构中跨块间的间接元素交互问题，我们提出了一种基于联合自注意力的带门控单头Transformer语音分离模型架构，并使用卷积增强模块，命名为MossFormer（Monaural speech separation Transformer）。

MossFormer采用联合局部和全局自注意力架构，同时对局部段执行完整自注意