语音合成（TTS)论文优选：Location-Relative Attention Mechanisms for Robust Long-Form Speech Synthesis

最新推荐文章于 2025-04-10 12:30:09 发布

原创

最新推荐文章于 2025-04-10 12:30:09 发布 · 914 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#语音识别 #人工智能 #深度学习 #机器学习 #tts

本文探讨了Google在2020年提出的一种动态卷积注意力（DCA）机制，用于增强长篇语音合成的鲁棒性。通过对location-relative GMM-based attention和additive energy-based attention的比较，DCA显示出了在处理长句子时的优势，具有更快的收敛速度和较低的字符错误率，同时保持了良好的音质。

声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。

欢迎关注微信公众号：低调奋进

Location-Relative Attention Mechanisms for Robust Long-Form Speech Synthesis

本篇文章是google在2020.04.22更新的文章，主要提出了基于energy_base的dynamic convolution attention，使语音合成系统可以对长句子进行推理。文章的具体链接：https://arxiv.org/pdf/1910.10288.pdf

1 背景

现在的语音合成系统虽然可以合成较高音质音频，但基于attention的对齐依然存在许多问题，比如使用短句子语料训练模型，该模型无法进行长句子的推理。本文对比了两类attention：location-relative gmm-based attention和additive energy-based attention，并提出了一种新的attention:dynamic convolution attention(DCA)，实验结果显示，该attention可以合成较长的句子。

2 详细设计

encoder-attention-decoder的模型通用的公式表达为公式1-4：先使用encoder对输入进行处理，输出固定长度的特征h。对于decoder的每一帧输出，先使用attention求取对特征h的对齐，然后求取context vector。最后使由decoder输出该帧。其中attention决定了输入和输出的对齐情况。