wrk226的博客

本文可以视作PSGAN的改良版，PSGAN中融合妆容特征和身份特征的时候用的是基于landmark的attention，而这里作者提取了基于区域的妆容style code，然后用StyleGAN的方式来融合特征。模型看起来也和PSGAN非常相似，唯一的区别就是将PSGAN中的MDNet换成了PSEnc。作者先将人脸通过语义分割模型分为眼睛，嘴巴和脸部三个部分，然后分别输入映射模块来获得三个风格向量，之后通过叉乘来融合后输入MLP来将调整特征在隐空间中的分布，进而通过Adain来与FIEnc提取出

本文的亮点在于引入了3D模型，将2D图像转换为UV map，从而获得输入脸和参考脸之间的对应性。另外，还额外设计了一套模型用于学习装饰性妆容（区别于修饰性妆容）如上图所示，原始脸和参考脸都会用PRNet（一个3D重建模型）来提取UV纹理图。原始脸还会提取一个UV位置图，用于从UV纹理图到原始2D图的重构。文中将妆容分成了两类：颜色转移即修饰性妆容，就是一般人们会画的妆容，用于修饰面部细节。具体的方式就是参考的BeautyGAN，用了对抗损失，循环一致性损失，感知一致性损失，像素直方图损失

和PSGAN相比只是多了一个基于密集landmark的所谓妆容密集损失，别的没有区别。结构如图所示，和PSGAN最明显的区别就是多了个IDNet，而这个IDNet事实上就是在计算cycle consistency loss的时候本就有的一个去妆容的组件。所以本质上结构是没变的上图就是本文的唯一创新点，使用了一个检测器检测出两个脸中的密集landmark，然后点与点之间做颜色损失。...

本文的亮点是将注意力机制引入了妆容迁移之中。PSGAN如图A所示，这就是模型的整体结构。具体来说，使用MDNet和MANet的前半部分抽取图片的中间向量（和输入图片尺寸一样的二维矩阵），然后使用AMM对中间向量做attention对两个图片进行融合（也就是对输入图片进行上妆），再输入MANet的后半部分，从而获得最终结果。AMM模块如图B所示，由于直接对两张图片做attention不现实，因此作者先检测出两张图片的landmark，然后判断landmark所在的点对另一张图片每个像素点的

本文主要的思路就是将cycleGAN用于妆容迁移。最大的亮点就是通过扭曲妆容图像来构造相似妆容对，从而构建出一个可以对妆容类型进行鉴别的discriminator。结构如图所示，本质上就是cycleGAN，输入一张没化妆的图像和参考图像，通过G网络生成妆后图像，然后通过F网络还原回没化妆的图像。进而做重构损失Adversarial loss最基础的GAN loss，就是判断生成的图像真不真实。identity loss这其实就是原来基于像素的cycle consistency los

本文主要的思路是区别对待域迁移和个体迁移。对于域的迁移使用cycleGAN，对于个体的迁移使用pixel level histogram，最后再使用identity loss来进一步保留个人特征。最大的特色就是引入了cycleGAN和pixel level histogram。整体结构很简单，就是把原始图和参考图一起丢到generator中，让generator对调两个图像之间的妆容。然后再将两张图放回generator，再次对调妆容，从而可以和最初始的两张图做重构损失 。域间迁移-domain

在这篇文章之前已经有一些上妆的软件，但大都是将手工设计的妆容直接套用到人脸上，并不能自适应的生成妆容。而这篇文章的重点就是基于输入的人脸推荐最合适的妆容，并且自动生成上妆后的人脸。主要亮点是使用语义分割将面部分为几个部分，然后对每个部分分别做妆容迁移。妆容推荐使用VGG-Face提取的面部embedding来在数据库中寻找到与输入脸最相似的那个脸作为目标妆容的参考。建立面部关联性使用FCN对输入脸和参考脸做语义分割，就像上图中i部分那样，分割成面部，左眼，右眼，左眉毛等等之类的区域，

本文的主要目的就是做妆容的转移，特色是使用了3DMM的先验，从而可以利用人脸的对称性来移除遮挡和阴影导致的错误上图就是模型的结构，可以分为橘黄色框内和橘黄色框外两部分橘黄色框外负责的就是3D人脸重建的部分，即提取2D图像的纹理UV图和形状信息，然后将纹理图输入橘黄色框，橘黄色框会输出一个妆容转移后的纹理图，之后和形状信息一起输入渲染器来渲染最终结果橘黄色框内负责的就是妆容转移，分为三个部分：编解码器，翻转注意力模块（FAM），妆容迁移模块（MTM）编解码器就是和自编码器一样，将纹理UV图降维成一