DiffSinger项目解析：基于浅层扩散机制的歌唱语音合成技术

DiffSinger项目解析：基于浅层扩散机制的歌唱语音合成技术

DiffSinger DiffSinger: Singing Voice Synthesis via Shallow Diffusion Mechanism (SVS & TTS); AAAI 2022; Official code 项目地址: https://gitcode.com/gh_mirrors/di/DiffSinger

项目概述

DiffSinger是一个创新的歌唱语音合成(Singing Voice Synthesis, SVS)系统，采用了独特的浅层扩散机制(Shallow Diffusion Mechanism)。该项目通过深度学习方法，实现了从歌词和MIDI音符到高质量歌唱音频的端到端合成。

技术亮点

1. 核心创新

DiffSinger最新版本进行了三项重大改进：

• 不再显式预测基频(F0)曲线
• 扩大了去噪器的感受野
• 增强了语言编码器的鲁棒性

这些改进使得：

• 合成音频的音高更加自然
• 整体流程更加简洁

2. 技术原理

传统方法通常使用均方误差(MSE)约束对数域F0曲线，而DiffSinger创新性地将F0曲线的动态特性完全交给生成式模型学习。这种改变使得系统能够更好地捕捉歌唱中复杂的音高变化。

实践指南

1. 数据准备

数据集获取

使用Opencpop数据集时，需严格遵守其官方使用规定。项目提供了针对Opencpop的完整处理流程。

数据预处理

执行以下步骤准备训练数据：

export PYTHONPATH=.
CUDA_VISIBLE_DEVICES=0 python data_gen/tts/bin/binarize.py --config usr/configs/midi/cascade/opencs/aux_rel.yaml

预处理完成后，将在data/binary/opencpop-midi-dp目录下生成处理好的数据。

2. 声码器准备

项目提供了专为歌唱合成优化的HifiGAN-Singing预训练模型，该模型具有以下特点：

• 采用NSF(Neural Source Filter)机制
• 基于约70小时歌唱数据训练
• 可作为通用声码器使用

使用前需将预训练模型解压至checkpoints目录。

3. 模型训练

配置训练环境变量后，执行训练命令：

CUDA_VISIBLE_DEVICES=0 python tasks/run.py --config usr/configs/midi/e2e/opencpop/ds100_adj_rel.yaml --exp_name $MY_DS_EXP_NAME --reset

4. 推理合成

测试集推理

CUDA_VISIBLE_DEVICES=0 python tasks/run.py --config usr/configs/midi/e2e/opencpop/ds100_adj_rel.yaml --exp_name $MY_DS_EXP_NAME --reset --infer

结果默认保存在./checkpoints/MY_DS_EXP_NAME/generated_目录。

自定义输入推理

项目支持两种输入格式：

1. 基于歌词和音符的输入
2. 类似Opencpop数据集的音素级输入

执行命令：

python inference/svs/ds_e2e.py --config usr/configs/midi/e2e/opencpop/ds100_adj_rel.yaml --exp_name $MY_DS_EXP_NAME

注意事项

1. 声码器适配问题：当前提供的HifiGAN-Singing模型在Opencpop这类"未见过的"数据集上可能出现音质下降，建议考虑在目标数据集上进行微调。

2. 前端处理：当前版本使用旋律前端(lyric + MIDI→ph_dur)预测音素时长，F0曲线与梅尔频谱图一起隐式预测。

3. 性能优化：项目持续更新中，建议关注最新版本获取性能改进。

结语

DiffSinger通过创新的浅层扩散机制，为歌唱语音合成领域提供了新的技术思路。其端到端的架构设计简化了传统流程，同时提升了合成音质的自然度。该项目不仅具有学术研究价值，也为实际应用提供了可靠的技术方案。

DiffSinger DiffSinger: Singing Voice Synthesis via Shallow Diffusion Mechanism (SVS & TTS); AAAI 2022; Official code 项目地址: https://gitcode.com/gh_mirrors/di/DiffSinger