GAN生成对抗网络合集（八）：GeneGAN - 子属性分离重组 - 解决对象变形问题

GeneGAN 源文：GeneGAN: Learning Object Transfiguration and Attribute Subspace from Unpaired Data
GeneGAN 源代码：https://github.com/Prinsphield/GeneGAN

-----------------------------------------------------------------------------------------------------------------------------------------

1 GeneGAN大体思路

       GeneGAN 正是由于生成图像与真实图像的数据分布一致，从而实现生成属性交换后的图像。对于属性交换两类图像xAU 和xB0，公共子属性A和B为相同分布的元素，需要转换的是私有子属性u和0。GeneGAN 的两类生成图像数据分布为PgA0 和PgBu，分别由两个GAN 模块负责，一个负责真实分布PrB0 与生成数据分布PgA0，可以看出，由于公共子属性的数据分布相同，拟生成的数据分布PrA0 与对应的真实分布PgB0 是一致的；同理，另一个GAN 负责的真实分布PrAu与生成分布PgBu也是一致的。因此，GeneGAN能够依靠GAN实现迁移图像的数据生成。

2 源文精析

2.1 Abstract

       对象变形：将图像中的对象替换为另一图像中的对象。例如，它可以执行这样的任务，“将A图中的眼镜准确地戴在B图中的人的鼻子上”。使用范例图像可以更精确地指定所需的修改，并改进条件图像生成的多样性。然而，以前的方法依赖于特征空间操作，需要成对的数据和外观模型来训练或从背景中分离对象。在这项工作中,我们提出一个模型,可以从两个未配对的图像作为学习对象进行变形:一组包含“目标”（眼镜，笑容）的图像，另一组没有，轻微的约束为两个学习对象是大约位于同一个地方。例如，训练数据可以是一组有眼镜的人脸图像，另一组是没有眼镜的图像，这两组图像都通过人脸地标进行空间对齐。尽管0/1标签很弱，我们的模型可以学习一个“眼镜”子空间，它包含不同类型眼镜的多个代表。因此，我们可以对生成的图像进行细粒度控制，例如通过交换“眼镜”子空间中的投影组件来交换两个图像中的眼镜，从而创建佩戴眼镜的人的新图像。
       总的来说，我们的确定性生成模型通过对抗性训练从弱标记数据中学习解纠缠属性子空间。在CelebA和Multi-PIE数据集上的实验验证了该模型在真实世界数据上的有效性，在生成特定眼镜、微笑、发型和照明条件等图像方面。代码可以在网上找到。

2.2 Introduction

       对象变形是一种条件图像生成方法，首先将图像分解为对象部分和背景部分。然后修改对象以满足特定的条件，背景保