语音合成的预训练模型

语音合成的预训练模型

与 ASR（语音识别）和音频分类任务相比，语音合成的预训练模型检查点明显较少。在 Hugging Hub 上，可以找到近 300 个适合的检查点。 在这些预训练模型中，重点关注两种在 Huggingface Transformers 库中开箱即用的架构——SpeechT5 和 Massive Multilingual Speech（MMS）。 在本节中，将探索如何在 Transformers 库中使用这些预训练模型进行 TTS（语音合成）。

SpeechT5

SpeechT5 是由 Microsoft 的 Junyi Ao 等人发布的模型，它能够处理一系列语音任务。虽然本文关注的是文本转语音， 但这个模型还可以用于语音转文本的任务（语音识别或说话人识别），以及语音转语音的任务（例如语音增强或变声器）。这是模型设计和预训练的方式所决定的。

SpeechT5 的核心是一个常规的 Transformer 编码器-解码器模型。就像任何其他 Transformer 一样，编码器-解码器网络使用隐藏表示来模拟序列到序列的

转换。这个 Transformer 骨架对 SpeechT5 支持的所有任务都是相同的。

除此之外，SpeechT5 还有六个模态特定（语音/文本）的预处理网