论文阅读：Talking Face Generation by Adversarially Disentangled Audio-Visual Representation

转载请注明本文出处，谢谢。

论文链接：Talking Face Generation by Adversarially Disentangled Audio-Visual Representation 

代码：GitHub

视频：Video

这是一篇AAAI 2019的文章。文章的题目是通过对抗分解语音和视频的表征来生成说话的人脸。

1. Introduction

一个人脸正在说话的这样一段视频。如果说这个视频是没有声音的，只有视频帧。那么这样一个没有声音的视频可以被分解为两部分，一部分是人物身份信息，还有一部分是语音信息。这里的语音信息指的主要是人物嘴部的动作传递给我们的这个人物所说的语音信息，而不是我们通常认为的听得到的语音信息。这是文章的主要贡献之一，就是能够从视频中把人物身份信息和语音信息完全分解开。▼▼▼

把刚才那个图缩小放在这。我们从视频中分解出人物信息和声音信息。然后丢掉分解出来的人物信息，只保留声音信息。当有一个新的人物出现的时候，我们可以把新的人物和之前从视频中提取的语音信息结合，生成新的人物说话的视频。除此之外，还可以直接输入音频，这个音频就是我们通常认为的听得到的语音信息。新的人物和这段语音结合也可以生成这个人说话的视频。▼▼▼

那么也就是说这篇文章做到了既可以输入视频，提取其中的语音信息，然后结合任意人物形象输出新的视频；也可以直接输入音频，结合任意人物形象输出新的视频。这是文章的第二个创新点。如果想要做到这一点，那么这两个不同种类的语音信息必须在相同的特征空间里，具有相同的特征分布。那么这就是文章的第三大贡献，把视频-音频中的语音信息联合表征，让他们处于同一个特征空间。▼▼▼

2. Overview

这是后面的主要内容。首先是大概看一下网络结构。▼▼▼