语音合成（TTS)论文优选：Robust Sequence-to-Sequence Acoustic Modeling with Stepwise Monotonic Attention for Ne

最新推荐文章于 2024-03-22 10:49:22 发布

原创

最新推荐文章于 2024-03-22 10:49:22 发布 · 548 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#语音识别 #人工智能 #深度学习 #机器学习 #tts

本文介绍了北京航空航天大学和微软合作的研究，提出了一种名为步进单调注意力（Stepwise Monotonic Attention, SMA）的机制，用于改善神经语音合成（TTS）系统的稳定性和鲁棒性。通过解决seq2seq模型在语音合成中常见的跳过、重复和注意力塌陷问题，SMA旨在确保局部性、单调性和完整性，从而提高合成语音的质量。实验结果显示，SMA在与基线和其他注意力机制的比较中表现出色，特别是在鲁棒性方面。" 132343313,19721736,深度学习驱动的实时人脸识别系统,"['人工智能', '神经网络', '深度学习', '图像识别', 'cnn']

声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。

欢迎关注微信公众号：低调奋进

Robust Sequence-to-Sequence Acoustic Modeling with Stepwise Monotonic Attention for Neural TTS

本篇文章是北京航空航天大学计算机科学与工程学院和中国微软在2019年发表的文章，主要提出了stepwise monotonic attention使语音合成系统更加鲁棒。具体的文章链接 https://arxiv.org/pdf/1906.00672.pdf

（接下来，开始整理attention的文章，逐个击破）

1 背景

seq2seq的模型的语音合成系统为当今的主流模式，其attention模块决定了输入和输出的对齐质量，从而影响合成的语音好坏，尤其存在skipping,repeating and attention collapse的问题。本文提出了一个好的attention评价标注有三个：1）locality:输出的帧都能映射到相应的输入；2）monotonicity:单调性; 3)completeness:完整性，每个输入都有相应的输出。现在的提出的attention的在第一点和第2点上进行设计，但没有文章在第三点上进行设计。本文设计了满足以上三个条件的attention，使语音合成系统更加鲁棒。

2 详细设计

先看一下常用的attention的计算公式1，2，3。先求出上一帧decoder的隐状态和输入的energy，然后使用softmax求取aligment，最后求取context vector c，该方案不具有单调性，因此设计的monotonic att