【论文学习】《“Hello, It’s Me”: Deep Learning-based Speech Synthesis Attacks in the Real World》

《“Hello, It’s Me”: Deep Learning-based Speech Synthesis Attacks in the Real World》论文学习

  摘要

       深度学习的进步带来了一波新的语音合成工具，能够产生听起来像是目标说话人所说的音频。如果成功，这些工具落入坏人手中将会对人类和软件系统(也就是机器)发动一系列强大的攻击。本文记录了基于深度学习的语音合成攻击对人类和机器(如说话人识别和语音信号系统)的影响的综合实验研究的成果和发现。我们发现，人类和机器都可以被合成语音骗过，而现有的针对合成语音的防御措施是不够的。这些发现突出表明，有必要提高人们的意识，并开发新的保护措施，防止人类和机器使用合成语音。
       
       关键词：神经网络，语音合成，生物安全
       

  1 介绍

       我们的声音所传达的信息比我们所说的话语要多得多。这是我们身份的基本组成部分，通常被描述为我们的听觉面孔(《Understanding voice perception》)。听我们的声音就足以让听者对我们做出推断，比如性别外貌(《The role of pitch and timbre in voice gender categorization》)，大小或力量(《Adaptations in humans for assessing physical strength from the voice》)，大概年龄(《You are only as old as you sound: auditory aftereffects in vocal age perception》)，甚至社会经济地位(《Evidence for the reproduction of social class in brief speech》)。
       
       但也许人类的声音不再像我们愿意相信的那样独特。深度学习的最新进展已经导致了广泛的工具，以目标说话人的声音生成合成语音，或作为文本到语音(TTS)工具，将任意文本转换为口语单词(《Neural voice cloning with a few samples》，《Hierarchical generative modeling for controllable speech synthesis》，《Neural text-to-speech adaptation from low quality public recordings》，《Transfer learning from speaker verification to multispeaker text-to-speech synthesis》，《DeepVoice 3: Scaling text-to-speech with convolutional sequence learning》，《Natural TTS synthesis by conditioning wavenet on mel spectrogram predictions》，《Voiceloop: Voice fitting and synthesis via a phonological loop》，《Tacotron: Towards end-to-end speech synthesis》)，或者作为语音转换工具，将现有的语音样本重塑成目标人所说的相同内容(《Stargan-VC: Non-parallel many-to-many voice conversion using star generative adversarial networks》，《Autovc: Zero-shot voice style transfer with only autoencoder loss》，《ConVoice: Real-Time Zero-Shot Voice Style Transfer with Convolutional Network》，《Blow: a single-scale hyperconditioned flow for non-parallel raw-audio voice conversion》，《Vqvc+: One-shot voice conversion by vector quantization and u-net architecture》)。除了谷歌Duplex这样的专有系统外，还有许多其他系统可以作为开源软件或商业WEB服务(《Lyrebird AI》，《Resemble.AI》)。
       
       鉴于我们的声音和我们的身份之间的紧密联系，一个成功地模仿或模仿我们的声音的工具可以在各种情况下造成严重的破坏。首先，它可以绕过银行和信用卡公司(如摩根大通和汇丰银行(《Chase VoiceID》，《HSBC VoiceID》))的自动客户服务电话中已经部署的基于语音的认证系统(也称为自动说话人验证系统)，以及微信(《Announcing WeChat VoicePrint》)等移动消息应用程序的用户登录服务。它还将击败物联网设备(如数字家庭助手(如Amazon Alexa《Personalize Your Alexa Experience with Voice Pro- files》，Google Home)(《What Are Alexa Voice Profiles？》))中的基于用户的访问控制。最后，这些工具可以直接攻击终端用户，通过增加传统的网络钓鱼诈骗与熟悉的人的声音。最近的一个骗局显然就是这样，攻击者模仿公司CEO的声音命令下属进行非法转账(《Fraudsters Used AI to Mimic CEO s Voice in Unusual Cybercrime Case》)。
       
       这些语音合成攻击，特别是那些由于深度学习的进步而导致的攻击，对计算机系统和人类都构成了严重的威胁。然而，到目前为止，还没有明确的成果来衡量这种威胁在深度学习系统的背景下的严重性。之前的工作已经确定了针对前几代合成工具和说话人识别系统的语音合成攻击的可行性(《Revisiting the security of speaker verification systems against imposture using synthetic speech》，《Vulnerability of speaker verification systems against voice conversion spoofing attacks: The case of telephone speech》，《On the security of HMM-based speaker verification systems against imposture using synthetic speech》，《All your voices are belong to us: Stealing voices to fool humans and machines》)。类似地，先前评估人类对语音合成攻击脆弱性的工作是在有限的环境中评估现已过时的系统(《All your voices are belong to us: Stealing voices to fool humans and machines》，《The Crux of Voice (In) Security: A Brain Study of Speaker Legitimacy Detection》)。
       
       我们认为，现在迫切需要衡量和了解基于深度学习的语音合成攻击如何影响两个不同的实体：机器(如自动化软件系统)和人类。这种攻击能否克服目前部署在安全关键设置下的说话人识别系统?或者他们会危及移动系统，比如移动应用程序上的语音签到吗?针对人类目标，可以合成模仿特定人类声音的语音样本，成功地使我们相信它们的真实性。
       
       在本文中，我们描述了深度学习语音合成攻击对机器和人类造成的威胁的深入分析的结果。我们首先评估现代说话人验证系统(包括商业系统Microsoft Azure、微信和Alexa)的易感性，并评估各种影响攻击成功的因素。为了评估人类对合成语音的脆弱性，我们在调查设置和可信上下文中执行多个用户研究。最后，我们评估了现有防御对语音合成攻击的可行性。我们所有的实验都使用了公开可用的深度学习语音合成系统，我们的结果突出了对基于深度学习的语音合成攻击的针对人类和机器的新防御需求。
       
       关键的发现 我们的研究产生了几个关键发现:
       （1）通过对90个不同的说话人进行的一系列综合实验，我们评估并表明，基于DNN的语音合成工具在误导现代说话人识别系统方面非常有效(成功率为50%至100%)。
       （2）我们的实验发现，经过几次尝试，合成语音可以模拟现实世界中60%的扬声器识别系统:微软Azure、微信和亚马逊Alexa。
       （3）一项针对200名参与者的用户调查显示，对于不熟悉的声音，人类能够区分合成语音和真实说话者的准确率为50%，而对于熟悉的声音，准确率接近80%。
       （4）一项针对14名参与者的基于访谈的欺骗研究表明，在一个更可信的环境中，插入合成语音成功地欺骗了大多数参与者。
       （5）对两种最先进的防御系统的详细评估表明，它们在阻止语音合成或可靠地检测语音合成方面都达不到目标，这突出了对新的防御系统的需求。
       
       需要注意的是，从本质上讲，语音合成是指产生人类和机器听起来像目标说话者的可听到的语音。这与说话人识别系统中干扰语音导致错误分类的对抗攻击有着根本的不同(《Who is real bob? adversarial attacks on speaker recognition systems》，《Fooling endto-end speaker verification with adversarial examples》，《Practical adversarial attacks against speaker recognition systems》)。这种攻击不会影响人类听众，可以通过开发针对对抗性样本的新防御来解决。
       

  2 背景

       在本节中，我们首先描述说话人识别技术和语音合成系统的当前趋势，然后是基于语音的欺骗攻击。最后，简要总结了针对合成语音提出的防御策略。
       

    2.1 基于语音的用户标识

       人类如何通过声音识别说话者
       每个人的声道的独特特征造就了他们独特的声音。人类利用这些声音特征通过声音(《Vocal caricatures reveal signatures of speaker identity》)来识别人。尽管人类说话人的识别并不完善，但它具有很高的准确性，并启发了出于安全目的构建说话人识别系统(《Talker change detection: A comparison of human and machine performance》)。
       
       机器自动用户验证
       最近，说话人识别已经成为一种流行的替代其他生物认证方法(《Automatic speaker verification: A review》)。说话人识别系统捕捉说话人声音的特征，并与登记的说话人档案进行比较。如果有匹配，识别系统将授予说话者访问权限。早期说话人识别系统(20世纪70年代至2010年代)使用参数化方法，如高斯混合模型，而最近的系统(2014年以来)使用深度学习模型，这减少了开销并提高了准确率(《Cepstral analysis technique for automatic speaker verifi- cation》，《Speaker verification using adapted Gaussian mixture models》，《Deep neural network-based speaker embeddings for end-to-end speaker verification》，《Deep neural networks for small footprint textdependent speaker verification》)。
       
       从银行客户身份识别到手机应用登录等许多设置中都使用了说话人识别(《Announcing WeChat VoicePrint》，《Chase VoiceID》，《HSBC VoiceID》)。最近，像Alexa和谷歌Assistant这样的虚拟助手已经开始使用说话人识别来定制系统行为(《Link Your Voice to your Google Assistant device》，《What Are Alexa Voice Profiles?》)。说话人识别系统要么是文本依赖的，要么是文本独立的(《A tutorial on text-independent speaker verification》，《End-to-end text-dependent speaker verification》)。依赖文本的系统在注册和登录时使用相同的、特定于说话者的身份验证短语。文本独立的系统是内容不可知的。
       

    2.2 语音合成系统

       合成语音是由非人类来源(如计算机)产生的，模仿人的声音。制造电子合成语音的努力可以追溯到20世纪30年代，当时霍默·达德利(Homer Dudley)发明了第一个声码器(《Computer Synthesized Speech Technologies: Tools for Aiding Impairment》)。从那时起，像Festvox(《Festvox: Tools for creation and analyses of large speech corpora》)这样的系统使用高斯混合模型(GMM)来提高语音合成的质量而不是速度。最近的深度学习革命促进了该领域的发展。
       
       基于DNN的语音合成
       许多基于深度神经网络(DNN)的语音合成系统已经被提出(《Neural voice cloning with a few samples》，《Hierarchical generative modeling for controllable speech synthesis》，《Neural text-to-speech adaptation from low quality public recordings》，《Transfer learning from speaker verification to multispeaker text-to-speech synthesis》，《Stargan-VC: Non-parallel many-to-many voice conversion using star generative adversarial networks》，《DeepVoice 3: Scaling text-to-speech with convolutional sequence learning》，《Unsupervised speech decomposition via triple information bottleneck》，《Autovc: Zero-shot voice style transfer with only autoencoder loss》，《ConVoice: Real-Time Zero-Shot Voice Style Transfer with Convolutional Network》，《Blow: a single-scale hyperconditioned flow for non-parallel raw-audio voice conversion》，《Natural TTS synthesis by conditioning wavenet on mel spectrogram predictions》，《Voiceloop: Voice fitting and synthesis via a phonological loop》，《Tacotron: Towards end-to-end speech synthesis》，《Vqvc+: One-shot voice conversion by vector quantization and u-net architecture》)。它们可以分为两类：文本到语音(TTS)和语音转换(VC)。
       TTS系统将任意文本转换为目标说话人声音中的单词(《Neural voice cloning with a few samples》，《Hierarchical generative modeling for controllable speech synthesis》，《Neural text-to-speech adaptation from low quality public recordings》，《Transfer learning from speaker verification to multispeaker text-to-speech synthesis》，《DeepVoice 3: Scaling text-to-speech with convolutional sequence learning》，《Natural TTS synthesis by conditioning wavenet on mel spectrogram predictions》，《Voiceloop: Voice fitting and synthesis via a phonological loop》，《Tacotron: Towards end-to-end speech synthesis》)。相比之下，VC系统采用攻击者和目标两个语音样本，并输出一个语音样本，其中攻击者的内容以目标的语音表达(《Stargan-VC: Non-parallel many-to-many voice conversion using star generative adversarial networks》，《Unsupervised speech decomposition via triple information bottleneck》，《Autovc: Zero-shot voice style transfer with only autoencoder loss》，《ConVoice: Real-Time Zero-Shot Voice Style Transfer with Convolutional Network》，《Blow: a single-scale hyperconditioned flow for non-parallel raw-audio voice conversion》，《Vqvc+: One-shot voice conversion by vector quantization and u-net architecture》)。TTS和VC都产生相同的输出：目标声音的合成版本，说出攻击者选择的单词。
       
       有效性和可用性
       许多基于DNN的语音合成系统报告了令人印象深刻的语音真实感指标，表明在经典系统上有显著的改进。DNN合成性能的支持证据来自真实世界的轶事。基于DNN的合成语音在高利润攻击中至少使用了一种(《Fraudsters Used AI to Mimic CEO s Voice in Unusual Cybercrime Case》)。谷歌的新日程安排助理声音是如此逼真，以至于谷歌被指示在通话时宣布它的使用(《Google s AI sounds like a human on the phone should we be worried》)。
       一些DNN合成系统(及其训练数据集)仍然属于公司内部，但许多系统可以在Github上找到(《Mozilla TTS》，《TensorflowTTS》，《Real Time Voice Cloning》，《AutoVC Github Implementation》)。对于不太懂技术的人，在线服务将收费进行语音克隆(《Lyrebird AI》，《Resemble.AI》)。这种语言合成功效和可用性的结合既令人兴奋又令人担忧。
       
       语音合成的误用
       语音合成技术有许多积极的用途，如给哑人发声，帮助口语翻译，增加人类对辅助机器人的信任(《Speech synthesis from neural decoding of spoken sentences》，《Adapting transformer to end-to-end spoken language translation》，《Speech synthesis using EEG》，《Age and gender factors in user acceptance of healthcare robots》，《The effects of synthesized voice accents on user perceptions of robots》)。然而，我们的工作集中在这些用途的阴暗面，产生恶意的合成语音，以欺骗人类和机器。
       

    2.3 基于语音的欺骗攻击

       在这项工作中，我们特别关注对基于语音的用户身份的欺骗攻击，攻击者模仿目标的声音来窃取他们的身份。另一项平行的工作是探索对抗式攻击，在这种攻击中，对手向语音中添加听不见的干扰，以欺骗说话者识别系统(《Who is real bob? adversarial attacks on speaker recognition systems》，《Fooling end-to-end speaker verification with adversarial examples》，《Practical adversarial attacks against speaker recognition systems》)。对抗攻击虽然强大，但与欺骗攻击不同，因为它们不会模仿目标，因此不会对人类构成威胁。

       图1给出了欺骗攻击的一个高级概述。对手可以使用几种技术，表1对这些技术进行了分类。之前的工作已经发现，所有的欺骗技术重放、模仿和合成都可以可靠地欺骗基于机器的语音识别系统，但只有少数工作调查了对人类的威胁。在这里，我们总结了之前研究这些欺骗攻击的工作。

       
       针对机器的欺骗攻击
       我们首先总结了之前测量机器易受欺骗攻击的工作。
       （1）录音与重播：在重放攻击中，攻击者记录下受害者的准确讲话并重放以欺骗目标说话者识别系统(《Re-assessing the threat of replay spoofing attacks against automatic speaker verification》，《An assessment of automatic speaker verification vulnerabilities to replay spoofing attacks》)。ASVspoof挑战(《The ASVspoof 2017 challenge: Assessing the limits of replay spoofing attack detection》，《ASVspoof 2015: the first automatic speaker verification spoofing and countermeasures challenge》)对这种攻击进行了广泛的调查。重放攻击有很高的开销，因为攻击者必须获得受害者的特定录音。此外，这种攻击受到受害者可用录音内容的限制。
       
       （2）人类模仿：人类声音演员可以非常成功地模仿他人的声音，而精心设计的模仿欺骗攻击可靠地愚弄了说话人识别系统(《Detection and Evaluation of human and machine generated speech in spoofing attacks on automatic speaker verification systems》，《Acoustical and perceptual study of voice disguise by age modification in speaker verification》，《Vulnerability of speaker verification to voice mimicking》，《Wiretapping via mimicry: Short voice imitation man-in-the-middle attacks on crypto phones》，《Voice mimicry attacks assisted by automatic speaker verification》)。这些攻击甚至击败了汇丰银行基于发言者识别的安全系统(《BBC Fools HSBC Voice Recognition System》)。虽然这些攻击很有效，但由于依赖人类的天赋，它们的开销很大，通用性有限。
       
       （3）机器合成(传统)：之前的工作大多使用基于GMM的语音合成系统(如Festvox(《Festvox: Tools for creation and analyses of large speech corpora》))来攻击公众、基于GMM的说话者识别系统(《Revisiting the security of speaker verification systems against imposture using synthetic speech》，《Vulnerability of speaker verification systems against voice conversion spoofing attacks: The case of telephone speech》，《On the security of HMM-based speaker verification systems against imposture using synthetic speech》，《All your voices are belong to us: Stealing voices to fool humans and machines》)。最近的一项研究着眼于现实世界，将Festvox生成的一小组合成语音与5个支持语音认证的移动应用程序进行了测试，结果显示96%以上的成功率(《Quantifying the Breakability of Voice Assistants》)。然而，经典合成攻击对现代说话人识别系统的有效性仍然不清楚。
       
       （4）机器合成(基于DNN)：据我们所知，只有一项研究(《Deep Learning Serves Voice Cloning: How Vulnerable Are Automatic Speaker Verification Systems to Spoofing Trials？》)检验了基于DNN的合成攻击的性能。它通过运行10个合成样本，6个说话人(由(《Transfer learning from speaker verification to multispeaker text-to-speech synthesis》)生成)与3个本地训练的说话人识别原型进行初步测试。它得出了一个模糊的结论：当在合成语音上运行时，这些说话人识别原型产生的错误比干净(非合成)语音更多。
       
       针对人类的欺骗攻击
       现有的工作评估人类对欺骗的易感性只评估模拟和传统的合成攻击。单模仿攻击论文发现，人们可以被演员假装成比他们实际年龄更老或更年轻的人愚弄。第一张经典的合成攻击测量论文(《All your voices are belong to us: Stealing voices to fool humans and machines》)使用了传统的调查格式，发现用户正确区分真实和Festvox合成的声音(模仿真实说话人)的时间约为50%，不管他们是否熟悉真实说话人。该(《The Crux of Voice (In) Security: A Brain Study of Speaker Legitimacy Detection》)的后续研究使用相同的数据和调查格式，但包括fNIRS大脑扫描技术来测量参与者的神经活动。他们发现，在播放真实说话人或合成说话人的语音时，神经活动没有统计学上的显著差异。
       

    2.4 合成语音的防御

       人们提出了许多防御方法来防御语音识别系统对合成语音攻击的攻击。虽然大多数研究集中在检测合成语音或说话人(《Void: A fast and light voice liveness detection system》，《Detecting AI-Synthesized Speech Using Bispectral Analysis》，《You can hear but you cannot steal: Defending against voice impersonation attacks on smartphones》，《An audio CAPTCHA to distinguish humans from computers》，《Voicefox: Leveraging Inbuilt Transcription to Enhance the Security of Machine-Human Speaker Verification against Voice Synthesis Attacks》，《Voicepop: A pop noise based anti-spoofing system for voice authentication on smartphones》，《DeepSonar: Towards Effective and Robust Detection of AISynthesized Fake Voices》，《The Catcher in the Field: A Fieldprint based Spoofing Detection for Text-Independent Speaker Verification》，《Hearing your voice is not enough: An articulatory gesture based liveness detection for voice authentication》)，但最近的工作指向了一个新的防御方向：防止未经授权的语音合成(《Defending Your Voice: Adversarial Attack on Voice Conversion》)。我们在第六章讨论和评估代表性防御技术。
       

  3 研究方法

       目前还没有全面的研究，研究基于DNN的语音合成对基于软件的说话人识别系统和人类用户构成的威胁。我们的工作针对这一关键需求，并概述了减轻由此产生的威胁所需的未来工作。在这里，我们描述了威胁模型，以及我们分析所使用的方法、工具和数据集。
       

    3.1 威胁模型和假设

       在基于DNN的语音合成攻击中，攻击者$\mathfrak{A}$的目标是通过模仿目标$\mathfrak{T}$的声音窃取其身份。为此，$\mathfrak{A}$首先从$\mathfrak{T}$中收集一组语音样本${\mathfrak{S}}_{\mathfrak{T}}$，要么在公共环境中秘密记录他们的语音，要么从公共视频/音频剪辑中提取音频。当$\mathfrak{A}$认识$\mathfrak{T}$的时候，这些语音片段也可以从私人媒体获得。接下来，$\mathfrak{A}$将${\mathfrak{S}}_{\mathfrak{T}}$输入语音合成系统，该系统产生合成或假的语音样本 S A \mathfrak{S_A} S