换脸论文----《FaceShifter Towards High Fidelity And Occlusion Aware Face Swapping》解析

Abstract：

提出了一个新颖的两阶段模型，称为FaceShifter，在第一阶段，提出了一个新的属性编码器提取多个层次的目标人脸属性，和一个精心设计的新的Adaptive Attentional Denormalization(AAD)层，在合成人脸时可以自适应集成身份和属性。在第二阶段，为了解决面部遮挡问题，设计了一个新的Heuristic Error Acknowledging Refifinement Network(HEAR-Net)，经过训练，可以在不需要人工标注的情况下，以自我监督的方式恢复异常区域。

1 Introduction

面部交换是指将目标图像中的一个人的身份替换为源图像中的另一个人的身份，同时保留头部姿势、面部表情、光照和背景等属性

早期方法是人脸区域的像素点的替换，因此对于人脸的姿势，视角都会异常敏感，之后，便提出了基于3d模型处理人脸的姿势，但因为3d人脸重建的精度有限，鲁棒性有限，于是，最近提出了使用gan合成人脸。

合成的人脸不仅要集成属性（target face）跟身份（source face）,也要完美拟合人脸区域，包括灯光以及分辨率，都要契