一、什么是pix2pix GAN
论文:《Image-to-Image Translation with Conditional Adversarial Networks》
pix2pix GAN主要用于图像之间的转换,又称图像翻译。图像处理的很多问题都是将一张输入的图片转变为一张对应的输出图片,端到端的训练。 如果要根据每个问题设定一个特定的loss function 来让CNN去优化,通常都是训练CNN去缩小输入跟输出的欧氏距离,但这样通常会得到比较模糊的输出。
普通的GAN接收的G部分的输入是随机向量,输出是图像; D部分接收的输入是图像(生成的或是真实的),输出是对或者错 。这样G和D联手就能输出真实的图像。
Pix2pixgan本质上是一个cgan,图片 x 作为此cGAN的条件, 需要输入到G和D中。 G的输入是x(x 是需要转换的图片),输出是生成的图片G(x)。 D则需要分辨出{x,G(x)}和{x, y}。