2、多模态语音分离与分层相位不变模型在音频源分离中的应用

多模态语音分离与分层相位不变模型在音频源分离中的应用

在嘈杂环境中，准确地分离和提取音频源信号是一个具有挑战性的问题。多模态语音分离和分层相位不变模型为解决这一问题提供了有效的方法。下面将详细介绍这两种技术及其应用。

多模态语音分离

多模态语音分离旨在结合音频和视频等多种模态的信息，以更准确地分离出目标语音信号。在实际应用中，观察说话者的面部有助于在嘈杂环境中更好地听到语音信号，并将其从竞争源中提取出来。

实验结果

• BSS结果 ：在三维跟踪的波束形成中，使用到达角信息进行每个频率仓的性能指标评估。较低的性能指标（PI）表示更优的方法，且当 [abs(G11G22) - abs(G12G21)] > 0 时，表示无排列问题。
• 主观评价 ：对真实房间录音的分离进行主观评价，采用智能初始化的快速独立成分分析（IIFastICA）处理静止源，采用波束形成处理移动源。具体结果如下表所示：
  | 算法 | 平均意见得分（MOS） |
  | — | — |
  | IIFastICA | 4.8 |
  | 波束形成 | 3.7 |

音频源分离的分层相位不变模型

音频源分离的目标是分析给定的音频记录，以估计每个声源产生的信号，用于聆听或信息检索。分层相位不变模型在解决复杂音频混合场景中的源分离问题方面具有显著优势。

音频源分离问题概述

大多数音频信号是多个声源同时活动的混合结果，如“鸡尾酒会”环境中的语音记录、音乐CD和电影