《DailyTalk 项目安装与配置指南》

《DailyTalk 项目安装与配置指南》

DailyTalk Official repository of DailyTalk: Spoken Dialogue Dataset for Conversational Text-to-Speech, ICASSP 2023 (Oral) 项目地址: https://gitcode.com/gh_mirrors/da/DailyTalk

1. 项目基础介绍

DailyTalk 是一个高质量的对话语音数据集，专为对话文本转语音（Text-to-Speech，简称 TTS）设计。该数据集包含了从开放领域对话数据集 DailyDialog 中采样、修改和录制的 2541 个对话，继承了 DailyDialog 的注释属性。DailyTalk 数据集可用于学术研究，并且提供了相应的基线模型，用于展示如何利用对话的历史信息进行非自回归的 TTS。

项目主要使用 Python 编程语言。

2. 项目使用的关键技术和框架

• 文本转语音（TTS）: 项目基于文本转语音技术，将文本转换为自然听起来的语音。
• 深度学习框架: 使用 PyTorch 作为深度学习框架，构建和训练模型。
• 预训练模型: 集成了 HiFi-GAN 和 DeepSpeaker 等预训练模型，用于语音合成和说话人嵌入。
• ** Montreal Forced Aligner (MFA)**: 用于获取语音和音素序列之间的对齐信息。
• TensorBoard: 用于可视化训练过程和结果。

3. 项目安装和配置的准备工作

在开始安装之前，请确保您的系统中已经安装了以下环境和依赖项：

• Python 3.x
• pip 3.x
• Docker (可选，用于简化环境配置)
• GPU（推荐，用于加速训练过程）

详细安装步骤

步骤 1: 克隆项目仓库

打开命令行终端，执行以下命令克隆项目仓库：

git clone https://github.com/keonlee9420/DailyTalk.git
cd DailyTalk

步骤 2: 安装 Python 依赖

在项目目录中，使用 pip 安装项目所需的 Python 库：

pip3 install -r requirements.txt

步骤 3: 配置环境（可选）

如果您选择使用 Docker，可以构建 Docker 容器来运行项目，以避免环境配置的复杂性。构建 Docker 容器的命令如下：

docker build -t dailytalk .

构建完成后，您可以通过以下命令运行容器：

docker run -it dailytalk

步骤 4: 下载数据集和预训练模型

您需要从项目提供的链接中下载数据集和预训练模型，并将它们放置在相应的目录下。

步骤 5: 准备对齐数据

使用 Montreal Forced Aligner 或项目提供的预提取对齐文件来获取语音和音素序列之间的对齐信息。

步骤 6: 预处理数据

运行预处理脚本来准备训练数据：

python3 preprocess.py --dataset DailyTalk

步骤 7: 训练模型

使用以下命令开始训练模型：

python3 train.py --dataset DailyTalk

如果您的系统支持自动混合精度，可以添加 --use_amp 参数来加速训练。

步骤 8: 监控训练过程（可选）

如果需要监控训练过程，可以使用 TensorBoard。运行以下命令启动 TensorBoard：

tensorboard --logdir output/log

然后在浏览器中打开 TensorBoard 提供的 URL 来查看训练的实时信息。

完成以上步骤后，您就可以开始使用 DailyTalk 项目进行文本转语音的相关研究了。

DailyTalk Official repository of DailyTalk: Spoken Dialogue Dataset for Conversational Text-to-Speech, ICASSP 2023 (Oral) 项目地址: https://gitcode.com/gh_mirrors/da/DailyTalk