论文阅读：Heavy Rain Image Restoration: Integrating Physics Model and Conditional Adversarial Learning

2019 CVPR

本篇文章是2019CVPR的一篇文章，主要是提出了一个两个阶段的网络，基于物理的主干网络+深度指导的GAN细化网络。

对于大雨中的场景，雨纹明显可见，密集的雨堆积或遮雨效果明显，图像被雨纹洗刷去，远处的场景相对更加模糊等。
本文主要提出了一种方法来解决大雨问题。网络结构主要分为两个阶段：基于物理信息的主干网络和深度信息指导的GAN细化网络。
1、第一阶段：根据基本的物理原理来估计雨纹、传输图和大气光。为了更可靠地提取这些分量，我们使用了一个引导滤波框架来将图像分解成低频和高频分量。这种过滤是由一幅无雨残差图像引导的——其内容用于以空间变化的方式设置两个通道的通频带，这样背景细节就不会与雨条纹混淆。
2、第二阶段，采用了一个深度指导的GAN去修复第一阶段中没有被恢复的背景细节，同时纠正引入的伪影。

创新之处：

1、整合了两个阶段的神经网络：物理子网络和细化子网络。物理子网络用于估计S、A、T，然后生成J。细化子网络则包含一个 cGAN 网络。
2、提出了一个雨纹感知分解，将雨纹分别分为包含雨纹的高频成分和包含雨积累的低频成分。解决了雨纹和雨积累的缠结问题，同时能使用低频成分解决估计大气光的问题。
3、提供了一种新的以一种与场景深度一致的方式来合成遮挡效果的合成数据生成管道。为了更加真实，还在传输图和背景上添加了高斯模糊来模拟暴雨场景下的散射效果。

前人工作：

1、目前存在的去雨的方法，大多都不是为大雨场景下设计的。
2、Kang等人提出第一个使用双边滤波器将输入图像分解为低频分量和高频分量的单幅图像去雨方法。这种方法下，高频成分包含了雨纹和高频背景细节
不足：它基于稀疏编码的字典方法不能区分真实的物体细节和雨条纹。
3、Li等人使用高斯混合模型(GMMs)作为背景和雨纹层的先验，将雨图像分解为无雨背景层和雨条纹层。还尝试使用预处理除雾步骤来解决雨水积累问题。然而，除雾步骤进一步增强了清晰雨条纹，导致雨条纹的对比度和强度远远高于训练数据。因此，后续的雨纹去除方法不能有效地去除提振的雨斑。
4、DDN。提出了一种基于图像分解步骤的深度细节网络解决方案，同样细节层包含了雨条纹和背景细节，这不利于雨条纹的学习。
5、JORDER。在他的递归框架中使用除雾方法[4]作为迭代步骤来去除雨水积累。
然而在暴雨场景中，大量隐藏在大气面纱中的噪声将通过去雾的方法得到增强，而这是JORD