BASE TTS: Lessons from building a billion-parameter Text-to-Speech model on 100K hours of data

本文是LLM系列文章，针对《BASE TTS: Lessons from building a billion-parameter Text-to-Speech model on 100K hours of data》的翻译。

BASE TTS：在10万小时的数据上构建十亿参数的文本到语音模型的经验教训

摘要
1 引言
2 BASE TTS
3 实验设置
4 结果
5 相关工作
6 结论

摘要

我们介绍了一种称为BASE TTS的文本到语音（TTS）模型，它代表具有紧急能力的大自适应流式TTS。BASE TTS是迄今为止最大的TTS模型，基于10万小时的公共域语音数据进行训练，实现了最先进的语音自然度。它部署了一个1亿参数自回归Transformer，将原始文本转换为离散代码（“语音代码”），然后是一个基于卷积的解码器，以增量、可流化的方式将这些语音代码转换为波形。此外，我们的语音代码是使用一种新的语音标记化技术构建的，该技术的特点是通过字节对编码对说话人ID进行解纠缠和压缩。与广泛报道的大型语言模型在不断增加的数据量上训练时的“涌现能力”相呼应，我们发现，使用10K+小时和500M+参数构建的BASE TTS变体开始在文本复杂的句子上表现出自然的韵律。我们设计并共享一个专门的数据集来衡量这些文本到语音的涌现能力。我们通过对照基线进行评估，展示了BASE TTS最先进的自然度，这些基线包括公开可用的大规模文本到速度系统：YourTTS、Bark和TortoiseTTS。模型生成的音频样本可以在https://amazon-ltts-paper.com/上听到。