VTBerTalk 开源项目安装与使用指南

VTBerTalk 开源项目安装与使用指南

VTuberTalk 项目地址: https://gitcode.com/gh_mirrors/vt/VTuberTalk

1. 项目目录结构及介绍

VTuberTalk
├── train                     # 训练脚本及相关文件夹
├── gui                       # 图形界面相关代码
├── tools                     # 工具集合，包括数据处理等脚本
│   ├── video_to_wav.py       # 视频转音频脚本
│   ├── ...
├── pretrained_models         # 预训练模型存放处
│   ├── 2stems                # 示例模型文件夹
│   ├── ...
├── MFA                       # Montreal Forced Aligner相关文件
│   ├── pinyin_eng.dict       # 中英文混合字典
│   └── mfa_model.zip         # MFA模型压缩包
├── data                      # 存放处理过的原始数据
│   ├── wav_temp              # 临时音频文件夹
│   │   ├── speaker_name1     # 不同虚拟主播的数据子文件夹
│   ├── wav                   # 处理后的音频目录
│   ├── TextGrid               # 对齐后的文本网格文件
│   └── durations.txt         # 时长文件，用于模型训练
├── README.md                 # 主要项目说明文件
├── LICENSE                   # 许可证文件
└── 脚本文件（如：requirements.txt, run_preprocess.sh等）

介绍: VTBerTalk是一个基于PaddleSpeech的TTS系统，旨在通过训练虚拟YouTuber（VTuber）的声音，实现输入文本到对应语音的转换。项目覆盖从数据准备到模型训练的完整流程。

2. 项目启动文件介绍

• 主要启动脚本：run_preprocess.sh 和 run_train.sh

  • run_preprocess.sh: 数据预处理脚本，自动执行一系列步骤，从原始视频音频提取至准备阶段完成。
  • run_train.sh: 训练脚本的快捷方式，执行模型的训练过程。

• 配置文件调用：在训练具体模型时，如FastSpeech2或SpeedySpeech，会依赖位于train/conf下的.yaml配置文件来指定模型参数和路径。

3. 项目的配置文件介绍

配置文件主要分布在train/conf目录下，例如：

• fastspeech2.default.yaml: FastSpeech2模型的配置示例，定义了模型结构、学习率策略、损失函数等相关参数。
• speedyspeech.default.yaml: SpeedySpeech模型配置，同样详细规定了模型架构与训练细节。

这些YAML文件包含了模型训练的关键设置，如数据路径、批次大小、优化器选择等，允许用户根据自己的需求调整以适应不同的训练场景。用户需仔细阅读配置文件注释，并按需调整以优化模型训练过程。

---

通过上述指南，您可以快速了解VTBerTalk项目的整体架构，掌握其启动流程及关键配置的定制方法。记得在实际操作前，确保遵循项目文档中的环境搭建和依赖安装指南，以便顺利进行项目开发和训练。

VTuberTalk 项目地址: https://gitcode.com/gh_mirrors/vt/VTuberTalk