语音合成（TTS)论文优选：Robust Sequence-to-Sequence Acoustic Modeling with Stepwise Monotonic Attention for Ne

我叫永强

于 2020-12-16 09:58:43 发布

阅读量516

点赞数

CC 4.0 BY-SA版权

分类专栏：语音合成论文文章标签：语音识别人工智能深度学习机器学习 tts

本文链接：https://blog.youkuaiyun.com/liyongqiang2420/article/details/111184002

本文介绍了北京航空航天大学和微软合作的研究，提出了一种名为步进单调注意力（Stepwise Monotonic Attention, SMA）的机制，用于改善神经语音合成（TTS）系统的稳定性和鲁棒性。通过解决seq2seq模型在语音合成中常见的跳过、重复和注意力塌陷问题，SMA旨在确保局部性、单调性和完整性，从而提高合成语音的质量。实验结果显示，SMA在与基线和其他注意力机制的比较中表现出色，特别是在鲁棒性方面。" 132343313,19721736,深度学习驱动的实时人脸识别系统,"['人工智能', '神经网络', '深度学习', '图像识别', 'cnn']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。

欢迎关注微信公众号：低调奋进

Robust Sequence-to-Sequence Acoustic Modeling with Stepwise Monotonic Attention for Neural TTS

本篇文章是北京航空航天大学计算机科学与工程学院和中国微软在2019年发表的文章，主要提出了stepwise monotonic attention使语音合成系统更加鲁棒。具体的文章链接 https://arxiv.org/pdf/1906.00672.pdf

（接下来，开始整理attention的文章，逐个击破）

1 背景

seq2seq的模型的语音合成系统为当今的主流模式，其attention模块决定了输入和输出的对齐质量，从而影响合成的语音好坏，尤其存在skipping,repeating and attention collapse的问题。本文提出了一个好的attention评价标注有三个：1）locality:输出的帧都能映射到相应的输入；2）monotonicity:单调性; 3)completeness:完整性，每个输入都有相应的输出。现在的提出的attention的在第一点和第2点上进行设计，但没有文章在第三点上进行设计。本文设计了满足以上三个条件的attention，使语音合成系统更加鲁棒。

2 详细设计

先看一下