17、基于源和系统调制的虚假语音检测方法

基于源和系统调制的虚假语音检测方法

1. 引言

随着深度学习技术的发展，虚假语音在感知上几乎与真实语音难以区分。这使得区分真假语音变得极具挑战性，而虚假语音可能被恶意用于模仿个人或组织，甚至通过欺骗自动说话人验证（ASV）等系统来获取非法访问权限。例如，诈骗者曾模仿德国公司首席执行官的声音，通过电话从英国公司骗取资金。因此，设计一个有效的虚假语音检测系统至关重要。

虚假语音检测（FSD）是语音领域的新兴研究方向。虚假语音是通过不同的文本转语音（TTS）模型和语音转换（VC）技术合成的，与真实语音难以区分。目前有多个公开的虚假语音数据集，如ASVspoof 2015、ASVspoof 2019、Fake - or - Real（FoR）和ADD 2022等。

以往的研究尝试使用各种特征和模型进行FSD任务，包括手工特征（如MFCC、CQCC等）、时频特征（如频谱图、调制频谱图等）以及端到端的深度学习模型。然而，大多数现有工作主要关注声道信息，源信息在FSD系统中尚未得到充分探索。

本文的主要贡献如下：
1. 提出了用于虚假语音检测的残余调制频谱图，通过频率与调制频率的表示来区分真假语音。
2. 评估了跨域数据集上的性能，以构建通用的FSD系统。
3. 进行了基于源和系统的调制频谱图的分数组合，以展示构建更强大系统的有效性。

2. 动机

先前的研究表明，调制频谱图方法在说话人、会话和性别变异性方面表现良好，但在域变异性方面检测虚假语音的效果不佳。由于声道共振的能量携带特性，调制频谱图主要强调声道信息，而激励源信息被抑制。因此，推测隐藏的激励源信息可能包含有助于在域变异性中提高性能的额外特征。