PyTorch生成式人工智能——基于Transformer实现文本转语音

0. 前言

文本转语音生成一直是 AI 助手的重要组成部分，因为它们通常需要与用户进行语音交互。可以使用 Transformer 架构来完成这一任务，Transformer 能够学习如何复制不同的声音。

1. BARK 模型简介

BARK 是由 Suno AI 团队开发的开源文本转语音 (Text To Speech, TTS) 模型，模型可以生成逼真的人类语音，还可以添加背景噪声、音乐和音效。它支持多语言和多个说话者。使用 transformers 库可以非常简单的调用 BARK 模型。

1.1 模型优势

BARK 模型的优势主要体现在以下几个方面：

• 多模态生成：输入文本可包含语音指令标记(如 [laughter]、[music])，模型会根据标记生成对应声音，例如输入提示："Hello [smile], today is a good day [laughs]. [music: jazz]"，输出语音会包含微笑语气、笑声和爵士乐背景音
• 多语言支持：支持 100+ 种语言的语音生成(包括中、英、日、法等)，且能自动识别输入文本的语言</