MB-iSTFT-VITS：轻量级高保真端到端文本转语音开源项目

MB-iSTFT-VITS：轻量级高保真端到端文本转语音开源项目

MB-iSTFT-VITS Lightweight and High-Fidelity End-to-End Text-to-Speech with Multi-Band Generation and Inverse Short-Time Fourier Transform 项目地址: https://gitcode.com/gh_mirrors/mb/MB-iSTFT-VITS

1. 项目基础介绍与主要编程语言

MB-iSTFT-VITS 是一个基于深度学习的端到端文本转语音（Text-to-Speech, TTS）的开源项目。该项目旨在通过使用多带生成和逆短时傅里叶变换技术，实现轻量级且高保真的语音合成。项目的主要编程语言是 Python，同时使用了 Cython 和 Jupyter Notebook 来辅助开发。

2. 项目核心功能

端到端文本转语音

MB-iSTFT-VITS 的核心功能是将文本转换为自然流畅的语音。它基于 VITS（Vector Involved Text-to-Speech）模型，但通过以下两个关键改进，实现了更高的效率和保真度：

• 逆短时傅里叶变换（iSTFT）：部分替换了计算成本较高的组件，使用逆短时傅里叶变换来提高推理速度。
• 多带生成：通过固定或可训练的合成滤波器，实现了多带生成，从而生成波形。

高效率与高质量

与传统的轻量级模型相比，MB-iSTFT-VITS 通过端到端优化，避免了单独优化或知识蒸馏两个级联组件的需要。实验结果显示，该模型合成的语音与 VITS 一样自然，同时在 Intel Core i7 CPU 上实现了实时因子 0.066，比 VITS 快 4.1 倍。

3. 项目最近更新的功能

多带与多流 iSTFT VITS

最近的项目更新扩展了模型的功能，包括：

• 多带 iSTFT VITS（MB-iSTFT-VITS）：支持多带生成，可以通过配置文件设置子带数量和上采样率。
• 多流 iSTFT VITS（MS-iSTFT-VITS）：进一步增强了模型的功能，支持多流生成。

这些更新使得 MB-iSTFT-VITS 在保持高保真度的同时，具有更高的灵活性和适应性，适用于更广泛的场景和需求。

MB-iSTFT-VITS Lightweight and High-Fidelity End-to-End Text-to-Speech with Multi-Band Generation and Inverse Short-Time Fourier Transform 项目地址: https://gitcode.com/gh_mirrors/mb/MB-iSTFT-VITS