MB-iSTFT-VITS：多语言语音合成的新标杆

MB-iSTFT-VITS：多语言语音合成的新标杆

MB-iSTFT-VITS-multilingual 项目地址: https://gitcode.com/gh_mirrors/mb/MB-iSTFT-VITS-multilingual

项目介绍

MB-iSTFT-VITS 是一个多语言实现的语音合成项目，基于 MB-iSTFT-VITS 进行扩展，旨在支持多种语言的语音转换。该项目在原始 VITS 的基础上进行了优化，推理速度提升了 4.1 倍，极大地提高了语音合成的效率。目前，MB-iSTFT-VITS 已经支持日语和韩语，并且计划很快加入中文、CJKE 以及其他语言的支持。

项目技术分析

MB-iSTFT-VITS 的核心技术在于其高效的推理速度和多语言支持。通过引入多带 iSTFT（MB-iSTFT）技术，项目在保持高质量语音合成的同时，显著提升了推理速度。此外，项目还提供了预处理的日语单说话人训练材料，用户可以轻松上手。

技术要点：

• 多带 iSTFT（MB-iSTFT）：通过将频谱分成多个子带进行处理，显著提高了推理速度。
• 多语言支持：目前支持日语和韩语，未来将扩展到中文、CJKE 等更多语言。
• 预处理数据：提供了预处理的日语数据集，用户只需下载并放置 100 个 .wav 文件即可开始训练。

项目及技术应用场景

MB-iSTFT-VITS 适用于多种语音合成场景，包括但不限于：

• 语音助手：为智能语音助手提供多语言支持，提升用户体验。
• 语音翻译：实现实时语音翻译，支持多语言间的无缝转换。
• 语音生成：用于游戏、动画等领域的语音生成，提供高质量的语音输出。

项目特点

1. 高效推理：相比原始 VITS，MB-iSTFT-VITS 的推理速度提升了 4.1 倍，极大地提高了语音合成的效率。
2. 多语言支持：不仅支持日语和韩语，未来还将扩展到更多语言，满足不同用户的需求。
3. 易用性：提供了预处理的日语数据集，用户只需简单的配置即可开始训练，降低了使用门槛。
4. 灵活配置：支持单说话人和多说话人模式，用户可以根据需求灵活配置模型。

如何使用

环境要求

• Python >= 3.6（推荐 Python 3.7）

安装步骤

1. 克隆仓库：

   git clone https://github.com/misakiudon/MB-iSTFT-VITS-multilingual.git
   

2. 安装依赖：

   pip install -r requirements.txt
   

   你可能需要先安装 espeak：

   apt-get install espeak
   

数据准备

• 单说话人模式：在 config.json 中设置 n_speakers 为 0。
• 多说话人模式：说话人 ID 从 0 开始。

预处理

• 单说话人：

  python preprocess.py --text_index 1 --filelists path/to/filelist_train.txt path/to/filelist_val.txt --text_cleaners 'japanese_cleaners'
  

• 多说话人：

  python preprocess.py --text_index 2 --filelists path/to/filelist_train.txt path/to/filelist_val.txt --text_cleaners 'japanese_cleaners'
  

训练

• 单说话人：

  python train_latest.py -c <config> -m <folder>
  

• 多说话人：

  python train_latest_ms.py -c <config> -m <folder>
  

推理

训练完成后，可以使用 inference.ipynb 进行推理，生成语音。

结语

MB-iSTFT-VITS 不仅在技术上实现了突破，更在多语言支持方面展现了强大的潜力。无论你是语音合成领域的研究者，还是希望在实际应用中实现多语言语音合成的开发者，MB-iSTFT-VITS 都是一个值得尝试的开源项目。快来体验这一高效、灵活且多语言支持的语音合成工具吧！

MB-iSTFT-VITS-multilingual 项目地址: https://gitcode.com/gh_mirrors/mb/MB-iSTFT-VITS-multilingual