18、低资源约束下的代码混合文本到语音合成

低资源约束下的代码混合文本到语音合成

在语音合成领域，代码混合文本到语音合成（Code-Mixed Text-to-Speech Synthesis）是一个具有挑战性但又十分重要的任务。特别是在低资源的情况下，如何实现高质量的代码混合语音合成是一个亟待解决的问题。本文将详细介绍一种在低资源约束下实现印地语 - 英语代码混合语音合成的方法。

相关工作

长期以来，众多文本到语音（TTS）架构被提出，主要聚焦于速度和质量。近期，单阶段端到端架构如 VITS、Wave-Tacotron 和 JETS 等被提出，可直接将文本转换为音频样本，但这些模型需要大量数据。而两阶段模型（频谱图生成 + 语音合成）所需数据相对较少，因为声码器可以仅用音频数据单独训练。常见的频谱图预测网络有 Tacotron2、Transformer-TTS、FastSpeech2 等，声码器也有 Clarinet、Waveglow、MelGAN 等多种选择。在语音质量方面，各模型在高质量数据集上表现相当，没有明显的优胜者。

这些架构也被扩展到多说话人场景，通过对说话人嵌入进行条件设置来实现。说话人嵌入可以从外部说话人验证模型提取，也可以在 TTS 训练过程中联合学习。不过，目前对于代码混合 TTS 系统的研究相对较少。之前的一些方法存在如使用共同英语音素集导致区域词汇口音问题，或者需要复杂高延迟修改等不足。

方法

代码混合 TTS

主要目标是构建印地语 - 英语代码混合或切换的 TTS 系统。由于实际中代码混合录音数据稀缺，采用数据导向的方法，利用两种语言的单语数据。使用同一说话人的印地语和英语文本录音，通过单脚本音译的方法构建双语系统。将英语文本通