【亲测免费】 VITS2 项目使用教程

VITS2 项目使用教程

1. 项目介绍

VITS2 是一个单阶段文本到语音（Text-to-Speech, TTS）模型，旨在通过改进对抗学习和架构设计，提高语音合成的质量和效率。VITS2 在多个方面对之前的单阶段模型进行了优化，包括减少不自然的间断、提高计算效率以及减少对音素转换的依赖。该项目由 Jungil Kong、Jihoon Park、Beomjeong Kim、Jeongmin Kim、Dohee Kong 和 Sangjin Kim 在 SK Telecom 开发，并在 GitHub 上开源。

2. 项目快速启动

2.1 环境准备

首先，确保你已经安装了 conda 和 git。然后按照以下步骤进行操作：

# 克隆项目仓库
git clone https://github.com/daniilrobnikov/vits2.git
cd vits2

# 创建并激活 conda 环境
conda create -n vits2 python=3.11
conda activate vits2

# 安装依赖包
pip install -r requirements.txt

# 设置 PYTHONPATH
conda env config vars set PYTHONPATH="/path/to/vits2"

2.2 数据准备

VITS2 支持三种数据集：LJ Speech、VCTK 和自定义数据集。以下是下载和预处理 LJ Speech 数据集的示例：

# 下载 LJ Speech 数据集
wget https://data.keithito.com/data/speech/LJSpeech-1.1.tar.bz2
tar -xvf LJSpeech-1.1.tar.bz2
cd LJSpeech-1.1/wavs
rm -rf wavs

# 预处理梅尔频谱图
python preprocess/mel_transform.py --data_dir /path/to/LJSpeech-1.1 -c datasets/ljs_base/config.yaml

# 预处理文本
python preprocess/prepare/filelists.ipynb

# 创建数据集链接
ln -s /path/to/LJSpeech-1.1 DUMMY1

2.3 模型训练

使用以下命令启动训练：

# 训练 LJ Speech 数据集
python train.py -c datasets/ljs_base/config.yaml -m ljs_base

2.4 模型推理

推理示例可以在 inference.ipynb 和 inference_batch.ipynb 中找到。

3. 应用案例和最佳实践

3.1 单说话人 TTS

VITS2 可以用于单说话人的文本到语音合成，适用于需要高质量语音合成的应用场景，如语音助手、有声书等。

3.2 多说话人 TTS

通过使用 VCTK 数据集，VITS2 可以训练多说话人模型，适用于需要支持多个说话人的应用场景，如多语言语音合成、角色扮演等。

3.3 自定义数据集

用户可以使用自己的数据集进行训练，适用于特定领域的语音合成需求，如医疗、法律等专业领域的语音合成。

4. 典型生态项目

4.1 YourTTS

YourTTS 是一个基于 VITS2 的零样本多说话人 TTS 和零样本语音转换项目，支持多种语言和说话人。

4.2 NaturalSpeech

NaturalSpeech 是一个端到端文本到语音合成项目，旨在实现人类级别的语音合成质量。

4.3 Tacotron

Tacotron 是 Google 开发的端到端语音合成模型，虽然不是基于 VITS2，但在语音合成领域有广泛应用。

通过以上步骤，你可以快速上手 VITS2 项目，并根据实际需求进行定制和扩展。