DiffSinger项目最佳实践指南：从基础概念到模型训练

DiffSinger项目最佳实践指南：从基础概念到模型训练

DiffSinger 项目地址: https://gitcode.com/gh_mirrors/dif/DiffSinger

基础概念与材料准备

配置文件系统

DiffSinger项目采用YAML格式的配置文件来管理系统行为，这些文件定义了启用的功能、模型超参数，并控制着数据二值化、训练和推理过程。理解配置文件的结构对于项目实践至关重要。

配置文件主要包含以下几个核心部分：

• 数据集定义：指定原始数据路径、说话人信息和语言标签
• 字典配置：定义各语言的音素映射规则
• 模型参数：控制模型架构和训练过程
• 特征提取：配置音高和和声分离等预处理工具

多语言处理规范

DiffSinger支持多语言合成，正确处理语言标识是关键。建议采用ISO 639标准语言代码作为语言标签，例如：

• 中文：zh或zho（普通话可使用cmn）
• 日语：ja或jpn
• 英语：en或eng
• 粤语：yue

多语言环境下，音素名称需要添加语言前缀（如zh/a），而单语言环境下可直接使用短名称（如a）。

音素系统设计

音素分类

1. 语言相关音素：需添加语言前缀（如zh/a）
2. 全局音素：不依赖特定语言（如SP表示空格，AP表示送气音）

音素合并策略

通过配置文件可定义音素合并组，将相似音素归为一类：

merged_phoneme_groups:
  - [zh/i, ja/i, en/iy]  # 不同语言中的相似元音
  - [zh/s, ja/s, en/s]   # 不同语言中的相似辅音
use_lang_id: true        # 启用语言嵌入区分合并音素

命名规范

• 避免使用特殊字符：/、-、+等
• 推荐使用ASCII字符确保编码兼容性
• 语言相关音素短名称不应与全局音素名称冲突

字典构建指南

字典文件采用文本格式，每行定义音节到音素序列的映射：

<syllable>	<phoneme1> <phoneme2> ...

音节命名建议

• 采用标准注音系统：汉语拼音、日语罗马字等
• 避免使用保留字符（AP、SP等）
• 推荐使用ASCII字符

数据集组织规范

原始数据集应遵循以下目录结构：

数据集根目录/
  ├── wavs/          # 音频文件
  │   ├── 001.wav
  │   └── ...
  └── transcriptions.csv  # 标注文件

标注文件必须包含name列（对应音频文件名），其他列根据模型类型而异。

多数据集配置示例

datasets:
  - raw_data_dir: data/spk1-zh/raw
    speaker: speaker1
    spk_id: 0        # 相同ID合并说话人
    language: zh
    test_prefixes:   # 测试样本
      - wav1
      - wav2
num_spk: 2           # 说话人总数

模型训练实践

声学模型训练

声学模型将低维歌唱特征（音素序列、时长、音高等）转换为梅尔频谱，再通过声码器合成最终音频。

数据集要求

标注文件必须包含：

• name：音频文件名
• ph_seq：音素序列
• ph_dur：音素时长序列（秒）

功能扩展

1. 多说话人支持：通过speaker和spk_id配置
2. 方差参数控制：如能量(use_energy_embed)、气声(use_breathiness_embed)
3. 过渡参数：通过数据增强获得(augmentation_args)

方差模型训练

方差模型作为辅助工具，预测声学模型所需的参数（时长、音高曲线等）。

数据集要求

根据功能需求，标注文件需包含不同列：

| 功能模块 | 必需字段 | |---------------------|--------------------------| | 音素时长预测 | name, ph_seq, ph_dur, ph_num | | 音高预测 | name, ph_seq, ph_dur, note_seq, note_dur | | 方差参数预测 | name, ph_seq, ph_dur |

功能模块

1. 时长预测器(predict_dur)
2. 音高预测器(predict_pitch)
3. 多方差预测器(predict_energy, predict_breathiness)

使用DS文件构建数据集

DS文件(JSON格式)包含音素序列、时长、乐谱等信息，可用于构建方差数据集。

配置启用

binarization_args:
  prefer_ds: true  # 优先从DS文件加载

文件组织

将DS文件放入数据集目录的ds/子文件夹，与wavs/并列。

匹配规则

• 全名匹配：some-name匹配some-name.ds的第一个片段
• 索引匹配：some-name#0匹配some-name.ds的第0个片段

方差参数选择策略

方差参数显著影响歌唱风格和情感表达，需要仔细选择。

常用参数

1. 能量(Energy)

   • 控制声音强度变化
   • 注意：新版推荐使用更精细的参数控制

2. 气声(Breathiness)

   • 控制声音中的气声成分
   • 对抒情风格影响显著

3. 其他专业参数

   • 可根据具体需求添加自定义参数

选择建议

• 根据目标歌唱风格选择关键参数
• 避免过度参数化导致模型复杂度过高
• 优先使用经过验证的参数组合

通过本指南的系统实践，开发者可以充分发挥DiffSinger项目的强大功能，构建高质量的多语言歌唱合成系统。

DiffSinger 项目地址: https://gitcode.com/gh_mirrors/dif/DiffSinger