语音合成（TTS)论文优选：Code-Switched Speech Synthesis Using Bilingual Phonetic Posteriorgram with Only Monoli

声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。

欢迎关注微信公众号：低调奋进

Code-Switched Speech Synthesis Using Bilingual Phonetic Posteriorgram with Only Monolingual Corpora

本文章是香港中文大学在icassp2020发表的关于multi-lingual中code switch的问题，本文章使用PPG作为说话者无关语言无关的中间特征，还是蛮有意思，具体的文章链接

http://www1.se.cuhk.edu.hk/~hccl/publications/pub/Icassp20_cstts_camera_ready.pdf

1 研究背景

国际化造成了多语言的交叉使用，这给语音合成提出巨大的挑战。因为大部分研究人员很难获取同一个人多种语言的训练语料，因此研究使用单语言的语料来训练多语言模型，使说话人可以同时说多种语言成为热点。多语言模型的其中一个问题是code-switch，因为研究者手中没有这种语言交叉的样本。本文提出了使用ppg(语音识别对音素的分类）特征来作为文本和声学特征的桥梁，来优化code-switch效果。（从结果来看，除了可懂度好一些，自然度没有提升）

2 详细的设计

现有基准的模型架构如图1所示，Residual encoder学习一些未标注的隐含特征，Gradient reversal模块主要把语言特征和说话人进行解耦，其他模块就是标准的encoder-attention-decoder模型。本文借鉴该模型提出了使用PPG特征进行中间特征，使其语言特征和声学特征更好的映射，具体的模块如图2所示。首先，训练PPG提取模块来提取跟说话人和语言无关的特征PPG，然后使用encoder-attention-decoder模型来映射语言特征和PPG+lf0+uv。最后使用PPG+lf0+uv来映射声学特征。

3 实验结果

本文实验主要从主观角度。图三为可懂度测评，可看出本文提出的Prop的效果好于base系统。图4和图5自然度和喜爱度测评，两个系统没什么区别，作者说是PPG的准确度造成的。

4 总结

本文提出使用PPG特征来作为语言特征和声学特征的中间特征来设计code-switch，这种思想很好。当然效果还需要进一步的提高。