[ECCV2020]Synthesizing Coupled 3D Face Modalities by Trunk-Branch Generative Adversarial Networks

标题：Synthesizing Coupled 3D Face Modalities by Trunk-Branch Generative Adversarial Networks

链接：https://arxiv.org/pdf/1909.02215

本文的目的是生成高清晰度的3D人脸模型。

作者使用了一个多分支的GAN来对3DMM的参数建模，这样既保证了参数之间的独立性又能学习到参数见得关联。同时GAN也保证模型可以输出非常逼真的样本。而且，多分支的结构也可以很轻易地扩展，即加入更多的模态。另外，作者还提出了一个方式用于编辑人脸表情。

首先，为了将各个信息模态表示成图的形式，作者将纹理，法线和形状都映射到了UV map上，另外，作者还使用AC-GAN提取了数据库中所有人脸的表情向量，作为表情标签。

generator的输入就是随机向量和表情标签，输出就是纹理，法线和形状的UV map，这些信息结合之后就可以还原成最终的3D模型了。

discriminator的三个分支分别接受纹理法线和形状的UV map,之后给一个统一的打分，用于区分生成的和真实的feature。除此以外，discrimiantor还需要做个表情的分类。

在生成的过程中，作者说加入一些通用的额外模态有助于最终的3D模型更为真实的3D模型。