so-vits-svc 项目使用教程

so-vits-svc 项目使用教程

项目地址:https://gitcode.com/gh_mirrors/sovi/so-vits-svc

1. 项目介绍

so-vits-svc 是一个基于 SoftVC 和 VITS 的歌唱语音转换（Singing Voice Conversion, SVC）项目。该项目的主要目标是实现高质量的歌唱语音转换，而不是传统的文本到语音（Text-to-Speech, TTS）转换。so-vits-svc 通过使用 SoftVC 内容编码器提取源音频的语音特征，并将这些特征直接输入到 VITS 模型中，从而保留原始音频的音高和语调。此外，项目还使用了 NSF HiFiGAN 作为声码器，以解决声音中断的问题。

2. 项目快速启动

2.1 环境准备

首先，确保你的系统已经安装了 Python 3.8 或更高版本。然后，使用以下命令安装项目所需的依赖：

pip install -r requirements.txt

2.2 数据准备

在开始训练之前，你需要准备一个包含多个说话者的音频数据集。数据集的目录结构应如下所示：

dataset_raw/
├── speaker0/
│   ├── audio1.wav
│   ├── audio2.wav
│   └── ...
└── speaker1/
    ├── audio1.wav
    ├── audio2.wav
    └── ...

2.3 数据预处理

使用以下命令对数据进行预处理：

python preprocess.py --input_dir dataset_raw --output_dir dataset_processed

2.4 模型训练

预处理完成后，使用以下命令开始训练模型：

python train.py --config config.json

2.5 模型推理

训练完成后，你可以使用以下命令进行推理：

python inference.py --model_path logs/44k/G_latest.pth --config_path configs/config.json --input_audio input.wav --output_audio output.wav

3. 应用案例和最佳实践

3.1 应用案例

so-vits-svc 可以应用于多种场景，例如：

• 虚拟偶像制作：通过将不同歌手的声音转换为虚拟偶像的声音，制作出独特的音乐作品。
• 语音修复：将受损或低质量的歌唱音频转换为高质量的音频。
• 语音风格转换：将一种歌唱风格转换为另一种风格，例如将流行歌曲转换为古典音乐风格。

3.2 最佳实践

• 数据集质量：确保数据集中的音频质量高且多样性丰富，以提高模型的泛化能力。
• 超参数调整：根据具体任务调整训练过程中的超参数，如学习率、批量大小等。
• 模型评估：定期评估模型的性能，使用客观指标（如 MOS 评分）和主观听觉测试来评估转换后的音频质量。

4. 典型生态项目

4.1 MoeVoiceStudio

MoeVoiceStudio 是一个包含可视化 f0 编辑器、说话者混合时间线编辑器等功能的项目。它使用 Onnx 模型，提供了更丰富的用户界面和功能。

4.2 w-okada/voice-changer

w-okada/voice-changer 是一个支持实时语音转换的客户端项目。它提供了实时转换功能，适用于需要即时语音转换的场景。

4.3 34j/so-vits-svc-fork

34j/so-vits-svc-fork 是 so-vits-svc 的一个分支，提供了改进的用户界面和更多功能。它基于 4.0 分支，并且模型兼容性较好。

通过这些生态项目，用户可以进一步扩展 so-vits-svc 的功能，满足更多应用场景的需求。

so-vits-svc 项目地址: https://gitcode.com/gh_mirrors/sovi/so-vits-svc