PIX2PIX HQ详解

High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs

摘要

本文介绍一个新的条件GAN网络，与以往的网络不同的是，这个网络能够生成2048*1024的图片，这种网络可以通过两种特征来实现视觉交互编辑。第一种，通过实例对象语义信息，可以增加减少物体，改变物体的类别。第二种方式是，同样的输入生成多样的结果，允许使用者编辑物体的外表信息。

前言简介

文中使用实例级对象予以信息来提升图片质量，最后使用实例级特征来把控图像合成的多维更加逼真，同时也可以进行物体编辑。

语义分割和实例分割，语义分割会认为图像中都是人这个对象，而实例分割则表示他们是不同的人不同的对象。

Pix2pix

 

Pix2pix是有监督的训练，输入的数据时（si, xi）其中si是语义标签，xi是其相对应的真实图片。 它的目标