【论文阅读】Interpreting the Latent Space of GANs for Semantic Face Editing

【2020CVPR】
Shen, Yujun, Jinjin Gu, Xiaoou Tang, and Bolei Zhou. “Interpreting the latent space of gans for semantic face editing.” In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 9243-9252. 2020.

https://github.com/genforce/interfacegan

任务：对于预训练的GAN模型进行人脸属性编辑

方法

本文对人脸5个属性：姿态、表情（微笑）、年龄、性别和眼镜进行编辑

一、隐空间中的语义

1、单种语义

GAN模型的输入为z，设为d维的向量
对于每种属性，定义一个d维的单位向量n来表示（则$n^T\cdot z=0$则为属性分界的超平面）

那么对于GAN的输入z，可以计算其与特定属性的语义分值，即为两者的点乘

设生成器g：Z->X，使用函数f来计算语义分值，那么每张图像的特定语义的得分为

其中λ为衡量单位长度中语义变化大小的超参

2、多种语义

类似于单重语义时的定义，采用矩阵N来作为不同的语义向量N=[n_1,…,n_m]

计算s的均值和方差，由于不同属性间可能会有相关性，因此使用 n i T ⋅ n j