[semantic segmentation] using Adversarial Networks 论文学习

论文地址：
Semantic Segmentation using Adversarial Networks NIPS 2016
https://arxiv.org/abs/1611.08408

---

1. 网络结构

这篇论文是首次将GAN思想用于semantic segmentation.

在GAN中，有生成器和判别器，生成器生成fake样本然后判别器进行鉴别，随着训练的进行，生成器的fake样本越接近与数据真实分布，判别器也越难分辨真伪。

将GAN用于分割，实际上，基本的分割网络（FCN, DeepLab, PSPNet……）就是GAN中的生成器。换句话说，GAN用于分割不需要另外再构造一个生成网络，传统分割网络就是生成网络。然后在生成网络之后加一个判别网络结构，如图所示：

左边Segmentor就是传统的CNN-based分割网络，Convnet中可以看到有convolution和deconvolution过程；右边Adversarial network是GAN中的判别器，最后用sigmoid activation进行二分类。

Segmentor这个部分会有两种训练图片输入到右边的Adversarial network中：
组合1：原始训练图片+ground truth, 这时候判别器判别为 1 标签；
组合2：原始训练图片+Segmentor分割结果， 这时候判别器判别为0标签。

然后训练过程就是经典的博弈思想