推荐开源项目：Bert-VITS2-ext —— 拓展TTS边界，同步生成脸部表情数据

推荐开源项目：Bert-VITS2-ext —— 拓展TTS边界，同步生成脸部表情数据

Bert-VITS2-ext 基于Bert-VITS2做的表情、动画测试. Animation testing based on Bert-VITS2. 项目地址: https://gitcode.com/gh_mirrors/be/Bert-VITS2-ext

项目介绍

Bert-VITS2-ext是一个创新的开源项目，旨在拓展Bert-VITS2的使用边界，使其不仅能够生成高质量的语音，还能同步产生与之匹配的脸部表情数据。这一突破性功能为虚拟角色和数字人应用提供了更丰富的表现力，极大地提升了用户体验。

效果展示

• Demo 哔哩哔哩
• Demo Youtube
• TTS with Audio2PhotoReal --> MetaHuman
• 从歌声生成表情测试；与Azure TTS说话时的表情对比
• TTS生成表情初版，与MotionGPT拟合

项目技术分析

核心技术

Bert-VITS2-ext基于Bert-VITS2 v2.3 Final Release，通过引入旁路LSTM和MLP网络，实现了从文本编码及变换后的隐变量z到表情值的映射。具体技术细节如下：

1. 网络结构：参考VITS论文，获取文本编码及变换后、解码前的隐变量z，从旁路输出表情值（Live Link Face数值）。
2. 数据采集：通过Live Link Face同步采集语音和对应的表情值，存入records文件夹。
3. 数据预处理：利用后验编码器将音频编码后的隐变量z存入*.z.npy，并生成训练和验证用的文件列表。
4. 训练与推理：在train_ms.py中加入--visemes参数进行训练，推理时通过webui.py输出音频、隐变量和动画数据。

扩展到GPT-SoVITS

项目还尝试将表情生成功能扩展到GPT-SoVITS，尽管初步结果不尽如人意，但展示了项目的灵活性和扩展潜力。

项目及技术应用场景

1. 虚拟角色驱动：为虚拟主播、游戏角色等提供同步的语音和表情，增强互动性和真实感。
2. 数字人应用：在客服、教育等领域的数字人中应用，提升用户体验。
3. 影视制作：辅助动画制作，实现语音与表情的自动匹配，提高制作效率。
4. 语音交互研究：为语音交互技术研究提供新的数据生成和处理方法。

项目特点

1. 创新性：首次将TTS与表情生成结合，拓展了语音合成技术的应用边界。
2. 灵活性：支持多种数据采集和处理方式，易于集成和扩展。
3. 高质量：基于Bert-VITS2的高质量语音合成，确保音质和表情的自然性。
4. 开源友好：项目完全开源，提供详细的文档和示例，便于开发者学习和使用。

结语

Bert-VITS2-ext项目以其创新的技术和广泛的应用前景，值得广大开发者和技术爱好者关注和尝试。无论是虚拟角色驱动还是数字人应用，该项目都提供了强有力的技术支持，必将为相关领域带来新的突破和发展。

立即访问Bert-VITS2-ext，体验这一前沿技术的魅力吧！

Bert-VITS2-ext 基于Bert-VITS2做的表情、动画测试. Animation testing based on Bert-VITS2. 项目地址: https://gitcode.com/gh_mirrors/be/Bert-VITS2-ext