语音合成论文优选：多模态Text2Video: Text-driven Talking-head Video Synthesis with Phonetic Dictionary

声明：语音合成论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。

欢迎关注微信公众号：低调奋进

---

Text2Video: Text-driven Talking-head Video Synthesis with Phonetic Dictionary

本文是Baidu Research, USA在2021.04.29更新的文章，主要工作为多模态的talking-head,把text转成video，具体的文章链接

https://arxiv.org/pdf/2104.14631.pdf

demo https://www.youtube.com/watch?v=d5MFzHxeOTs

---

（看了demo,感觉还是怪怪的~）

1 研究背景

目前talking-head主要采用方案主要分为speech2video和text2video​。其中speech2video相较于text2video需要大量的训练数据，而且​灵活性较低。本文也是text2video的方案，本文的方案具有需要的数据少，​训练和推理速度快的有点。
2 详细设计

本文的架构如图1所示，先把text经过tts生成音频，然后通过alignment获取