30、音频-视觉说话人分割中的预训练语音模型探索

音频-视觉说话人分割中的预训练语音模型探索

1. 引言

说话人分割（SD）旨在确定音频或视频记录中“谁在何时说话”，在多媒体信息检索、说话人轮替分析和多说话人语音识别等领域应用广泛。随着SD应用场景变得广泛而复杂，单模态（基于音频或视觉）的SD遇到了性能瓶颈。

一方面，语音本身具有不确定性，多说话人的语音信号相互干扰，还会受到回声、其他音频源和环境噪声的影响；另一方面，仅从单一视觉模态识别说话人非常复杂，通常只能检测正面特写图像中的嘴唇或面部动作，在更普遍的场景（如非正式社交聚会）中，人们不一定正对着摄像头，唇读变得困难。因此，利用视觉和音频信息对于提高说话人分割的有效性至关重要。

此前已有一些研究开始利用视觉和音频线索进行说话人分割，但存在一些问题。例如，现有的端到端音频 - 视觉说话人分割（AVSD）方法中，说话人编码器和音频 - 视觉说话人解码器的单独优化难以达到全局最优。而且，尽管预训练语音模型在各种下游语音任务中已被证明有效，但关于自监督预训练模型对AVSD影响的研究还很有限。

为了填补这一空白，我们采用监督预训练的说话人模型（ResNet和ECAPA - TDNN）和自监督模型（WavLM和HuBERT）作为端到端AVSD系统中的说话人和音频嵌入提取器。同时，评估不同框架（如Transformer、Conformer和交叉注意力机制）在AVSD系统音频 - 视觉解码器模块中的有效性。此外，为了减轻单独训练导致的分割性能下降，我们对AVSD系统中的预训练音频编码器、说话人编码器和音频 - 视觉解码器模块进行联合训练。

2. 方法

2.1 概述

改进的AVSD框架包括唇编码器、音频编码