去雨算法：Image De-raining Using a Conditional Generative Adversarial Network

最新推荐文章于 2024-11-04 21:46:48 发布

原创最新推荐文章于 2024-11-04 21:46:48 发布 · 2.8k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#算法 #计算机视觉 #深度学习

笔记同时被 2 个专栏收录

3 篇文章

订阅专栏

去雨算法

1 篇文章

订阅专栏

本文介绍了使用对抗神经网络（GAN）进行图像去雨的方法，创新点在于提出了一种新的损失函数和生成器结构。生成器通过Dense+transition层转换有雨图像为无雨图像，而辨别器则负责区分真实无雨图像和生成的图像以优化生成器。此外，还引入了感知损失以提高图像质量。该方法在当时的期刊会议中可能是首次应用于去雨任务，并且使用了感知损失这一不常见的技术，但其实际效果有待进一步研究。

0 基本信息

时间：2017
期刊会议级别：IEEE
亮点：使用对抗神经网络GAN；新的损失函数

1、生成器（Generator with Symmetric Structure）

在这里插入图片描述
生成器为图片中的上半部分，功能为将有雨的图像转化为无雨图像，图片进入网络之后，会依次经过N个 （Dense+transition）。
每个Dense将由n*layer组成，这些layer是平行存在的，每个layer包括三个步骤： batch normalization (BN), leaky rectified linear units (LReLU) and a 3×3 convolution。最后n个layer 叠加在一起：
在这里插入图片描述
transition主要为以下三个步骤当中的其中一个：up-sampling (Tu), down-sampling (T d) or no-sampling operation (T n)。
论文中每个层使用细节，如下表所示：

同时，各个dense之间也采用一种类似于残差网络的形式，将细节信息保留下来，具体可以查看论文：Densely connected convolutional networks。

2 辨别器（Multi-scale Discriminator）

在这里插入图片描述
辨别器为图中下半部分，功能为通过将真实的无雨图像和生成器生成的无雨图像区分来，来不断优化生成器的参数。辨别器的网络比较简单，就是一个端到端的网络，前面是一些顺序的卷积神经网络，中间加入了一次多尺度感知的网络。结合如下网络细节，即可看到网络全貌：
在这里插入图片描述

3 生成器损失

生成器的损失，由三部分组成，L_E是传统的基于像素点的损失，例如欧几里得损失（Euclidean loss），L_A是对抗损失，由辨别器指导。L_P为感性损失（perceptual loss ），其实就是在欧几里得损失上加一个非线性的卷积神经网络，参考论文：Perceptual losses for realtime style transfer and super-resolution
在这里插入图片描述

4 感悟

1、本文为作者看的第一篇关于GAN的文章，所以看的时候需要查阅很多其他论文和教程，看的非常艰难，截止到写这篇文章，还是没有搞懂GAN的细节部分，应该需要去代码里面寻找了。
2、本文使用GAN作为去雨的网络，在当时应该是常见期刊会议中首次用在去雨模型当中，取得了不错的效果。
3、本文当中使用的perceptual loss，在其他去雨论文中不多见，不知道是否真的有较好的影响。