BASE TTS: Lessons from building a billion-parameter Text-to-Speech model on 100K hours of data

UnknownBody

于 2024-02-22 11:11:43 发布

阅读量523

点赞数 8

CC 4.0 BY-SA版权

文章标签：人工智能深度学习

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/136228188

LLM 日更专栏收录该内容

828 篇文章

已下架不支持订阅

BASE TTS是一个亿级参数的文本到语音（TTS）模型，经过10万小时公共数据训练，创下了最佳语音自然度记录。该模型采用自回归Transformer和卷积解码器，结合创新的语音标记化技术，实现高效、可流化的语音合成。与大型语言模型类似，BASE TTS在大量数据上训练后展现出处理复杂文本的能力。通过与YourTTS、Bark和TortoiseTTS等基准系统的对比，证明了其先进性。模型在英语和西班牙语上的多语言表现，揭示了数据高效、适应文本线索的TTS新途径，但也存在幻听和截断等挑战，需要进一步研究解决。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《BASE TTS: Lessons from building a billion-parameter Text-to-Speech model on 100K hours of data》的翻译。

摘要

我们介绍了一种称为BASE TTS的文本到语音（TTS）模型，它代表具有紧急能力的大自适应流式TTS。BASE TTS是迄今为止最大的TTS模型，基于10万小时的公共域语音数据进行训练，实现了最先进的语音自然度。它部署了一个1亿参数自回归Transformer，将原始文本转换为离散代码（“语音代码”），然后是一个基于卷积的解码器，以增量、可流化的方式将这些语音代码转换为波形。此外，我们的语音代码是使用一种新的语音标记化技术构建的，该技术的特点是通过字节对编码对说话人ID进行解纠缠和压缩。与广泛报道的大型语言模型在不断增加的数据量上训练时的“涌现能力”相呼应，我们发现，使用10K+小时和500M+参数构建的BASE TTS变体开始在文本复杂的句子上表现出自然的韵律。我们设计并共享一个专门的数据集来衡量这些文本到语音的涌现能力。我们通过对照基线进行评估，展示了BASE TTS最先进的自然度，这些基线包括公开可用的大规模文本到速度系统：YourTTS、Bark和TortoiseTTS。模型生成的音频样本可以在

了解本专栏