声明:语音合成论文优选系列主要分享论文,分享论文不做直接翻译,所写的内容主要是我对论文内容的概括和个人看法。如有转载,请标注来源。
欢迎关注微信公众号:低调奋进
文章题目:How do Voices from Past Speech Synthesis Challenges Compare Today?
发表机构:日本国立情报学研究所
发表日期:2021.05.05
文章链接:https://arxiv.org/pdf/2105.02373.pdf
文章类型:经验分享类
解决的问题:主要对比往年Blizzard Challenge和Voice Conversion Challenge大赛系统之间对比测试,供同行参考
文章缺点:本文选取的大赛主要是以英文为主,因此Blizzard Challenge基于端到端的系统都没有被选入评比,但好在添加ESPnet系统中的端到端系统
文章内容:
选取赛事主要以英文:Blizzard Challenge 2008,2009,2010,2011,2013和2016.Voice Conversion Challenge 2016,2018,2020以及ESPnet的几个系统。一共187个系统。
获取当时的test samples进行MOS测评,参加测评为日本304人。具体的结果为图1所示:
最好系统:ESPnet-transformerv3, bc2010-m, ESPnet-transformerv1,ESPnet-tacotronv3,ESPnet-nvidia (可以看出基于端到端的合成MOS最高,要是2017到2020都进行评比,排在前边绝对是端到端)
最差系统:VCC2018-N06, VCC2018-N16,VCC2020-T14,VCC2016-C,VCC2016-baseline
TTS效果好于VC的效果,这由很多因素造成的。
对比多种赛事和系统之间对比,很多因素需要考虑,比如参加评比人的喜好,训练系统的数据(音频质量,音色,发音标准,信噪比等等)。本文先对比现在参评人和当时参评人相关性。table 1中 PCC和SRCC越大越好,RMSE越小越好。table 2展示VC效果每年提升。另外本文也阐述了使用的不同数据集对系统的影响。比较遗憾的事情,本文只对比英文,因此近几年的Blizzard Challenge都没有参选。