使用dia-finetuning项目进行语音模型微调的数据格式指南

使用dia-finetuning项目进行语音模型微调的数据格式指南

数据准备要求

在dia-finetuning项目中，进行语音模型微调需要准备特定格式的数据集。数据集应包含两个主要组成部分：

1. 音频文件目录(wavfolder)：存放所有训练用的.wav格式音频文件
2. 元数据文件(metadata.csv)：记录音频文件路径与对应文本转录的CSV文件

元数据文件格式规范

元数据文件应采用CSV格式，包含两列数据：

1. 第一列：音频文件路径（相对于音频根目录的相对路径）
2. 第二列：对应音频的文本转录内容

示例格式：

audio1.wav|这是第一个音频的转录文本
subdir/audio2.wav|这是第二个音频的转录文本

运行参数配置

在运行微调脚本时，需要通过命令行参数指定数据路径：

--csv_path path/to/your/metadata.csv
--audio_root path/to/your/wavfolder

注意事项

1. 当前版本存在一个已知问题：当批量大小(batch size)大于1时，可能会导致训练过程异常。建议在参数设置中保持batch_size=1。

2. 音频文件格式应统一为.wav格式，确保采样率和位深度一致，以获得最佳训练效果。

3. 转录文本应使用UTF-8编码，避免特殊字符导致的解析问题。

4. 建议在训练前检查数据质量，确保音频文件与转录文本的对应关系准确无误。

通过遵循以上数据格式要求和配置指南，用户可以顺利使用dia-finetuning项目进行语音模型的微调工作。