DailyTalk 开源项目使用教程

DailyTalk 开源项目使用教程

DailyTalk Official repository of DailyTalk: Spoken Dialogue Dataset for Conversational Text-to-Speech, ICASSP 2023 (Oral) 项目地址: https://gitcode.com/gh_mirrors/da/DailyTalk

1. 项目介绍

DailyTalk 是一个高质量的对话语音数据集，专为对话文本转语音（Text-to-Speech, TTS）设计。该数据集从开放域对话数据集 DailyDialog 中采样、修改并录制了 2541 个对话，继承了 DailyDialog 的标注属性。DailyTalk 数据集和基线代码免费供学术使用，遵循 CC-BY-SA 4.0 许可。

2. 项目快速启动

依赖安装

首先，需要安装项目所需的 Python 依赖。在项目根目录下运行以下命令：

pip3 install -r requirements.txt

对于 Docker 用户，项目提供了一个 Dockerfile，可以用于构建项目环境。

数据集和预训练模型下载

从项目官方渠道下载 DailyTalk 数据集和预训练模型，并将其放置在相应的目录下：

# 下载数据集
# 下载预训练模型

运行示例

以下是运行示例代码的命令，该命令将合成验证集中的所有语句：

python3 synthesize.py --source preprocessed_data/DailyTalk/val_*.txt --restore_step RESTORE_STEP --mode batch --dataset DailyTalk

确保替换 RESTORE_STEP 为实际的恢复步骤。

3. 应用案例和最佳实践

单一说话人 TTS

对于单一说话人 TTS，可以使用预训练的模型直接进行语音合成。

多说话人 TTS

对于多说话人 TTS，需要下载预训练的 DeepSpeaker 模型，并将其放置在 deepspeaker/pretrained_models/ 目录下。然后运行以下命令进行预处理和训练：

python3 prepare_align.py --dataset DailyTalk
python3 preprocess.py --dataset DailyTalk
python3 train.py --dataset DailyTalk

自动混合精度训练

为了提高训练效率，可以使用自动混合精度训练。在训练命令中添加 --use_amp 参数：

python3 train.py --dataset DailyTalk --use_amp

4. 典型生态项目

DailyTalk 项目可以作为其他语音合成相关项目的数据集和基础模型。以下是一些典型的生态项目：

• STYLER: 一个基于 DailyTalk 数据集的开源项目，用于风格化的语音合成。
• Expressive-FastSpeech2: 用于表达性语音合成的开源项目。
• Comprehensive-Transformer-TTS: 一个全面的基于 Transformer 的文本转语音开源项目。

以上是 DailyTalk 开源项目的使用教程，希望能够帮助您快速上手并应用该项目。

DailyTalk Official repository of DailyTalk: Spoken Dialogue Dataset for Conversational Text-to-Speech, ICASSP 2023 (Oral) 项目地址: https://gitcode.com/gh_mirrors/da/DailyTalk