论文阅读：Dual-Domain Single Image De-Raining Using Conditional Generative Adversarial Network

2019ICIP：Dual-Domain ID-CGAN

在这里插入图片描述

通过上一篇看到的文章提出的ID-CGAN，然后看到了这篇文章提出了一种双域的ID-CGAN。
文章主要提出了一种利用空间域和含雨图像小波变换系数的去雨方法，同时使用了CGAN网络。其中，生成器接收含雨图像的空间域和频率域的输入，然后产生5个候选的去雨图像，然后通过一个深度残差网络来合并这些候选去雨图像，预测出一个去雨图像。并且为了保证图像的视觉质量，还使用了感知损失，这些都与ID-CGAN较为相同。

创新之处：

1、提出了一个基于CGAN网络的结合空间域和频率域的去雨方法。
2、使用感知损失函数来保证去雨图像的质量。
3、使用了哈尔小波变换得到图像的频率域信息。

前人工作：
1、雨纹会造成监控、卫星追踪、自动驾驶等很多问题。
2、去雨问题看成一种图像分层问题，将含雨图像分离成一个无雨的背景图像和一个雨纹层图像。由于雨条纹具有较高的像素相关性，大部分采用雨图像的空间域。
3、DDN
4、JORDER
5、通过对稀疏或稠密雨图进行分类，在矩阵分解框架中对雨纹进行建模。
6、ID-CGAN
7、DID-MDN
以上所说，都是利用雨图的空间域信息基于高像素相关性的存在。
8、Shen，也就是下面的启发论文，从相同的雨天图像使用深度CNN网络，利用了哈尔小波和暗通道先验的概念来预测去雨图像的小波系数。

在此基础上，本文发现发现小波子带更适合预测雨纹图，如果在雨纹图的空间域特征的基础上，向网络提供这些频域线索，可以取得显著的改善。

网络结构：

在这里插入图片描述

图a 为小波子带LH、HL、HH.
图b 为网络的整体结构，主要分为生成器和判别器两块。

具体实现：

1、颜色空间选取
在这里插入图片描述
更理想的颜色空间为YCbCr ,与RGB颜色空间不同，YCbCr是去相关的。
由于雨纹噪声的伪周期加性和高频特性，对得到的不同颜色的条纹 Cb / Y-B和Cr / Y-R进行平滑处理，只在亮度通道中保留噪声。
因此，提出的方法只在Y通道去除雨纹。
该模型除了空间域特征外，还提供了频率域特征作为输入。
虽然从空间到频域的图像变换通常会破坏像素相关性，这给CNN的使用带来了挑战，但是离散小波变换，更具体的说是Haar小波，在一定程度上保持了图像的空间相关性。

小波变换：