Attentive Generative Adversarial Network for Raindrop Removal from A Single Image论文理解

 

概述：

在去雨的过程中给网络加上了attention提取，让网络能够更好地学到有雨滴部分的差别。

网络结构如下：

首先使用attention提取网络来获得包含雨滴的图像的attention图像（值在0-1之间，包含雨滴的地方值较大），attention提取网络中使用通过原图与gt相减并进行二值化处理之后获得的mask与网络得到的attention图来计算loss，以此来优化attention提取网络，loss如下

之后将得到的attention图与输入图像concatenate，输入到autoencoder网络，该网络通过在deconvolution阶段不同层与相同大小的gt求loss，并将最后得到的处理结果与gt输入vgg中提取特征后求一个perceptual loss

 

其中

鉴别器结构：

在鉴别器中去中间层的feature输入到一个cnn中，在通过CNN之后的output与attention map之间求loss：，R是随机的处理得到的图像和gt图像。最后总的loss