X的博客

传统语音合成通常分为两个阶段，首先通过前端模型（如 Tacotron）生成声学特征（如梅尔频谱图），然后通过波形生成模型将这些特征转换为语音波形。DiffWave 是一种基于深度学习的语音合成模型，属于波形生成模型的范畴，其核心目标是从梅尔频谱图等声学特征中生成高质量的语音波形。使用因果卷积（确保未来信息不泄露）和扩张卷积（扩大感受野），捕捉语音的长时依赖关系；学习从噪声中恢复原始波形的过程，DiffWave 即负责反向过程的建模。生成的语音接近真实人声，细节（如共振峰、爆破音）还原度高；

指出了压缩感知与源分离之间的若干相似性