之前的概述所包含的文章内容主要包括了视频的去雨,以及基于传统方法(像核回归非局部均值滤波、低秩矩阵、基于Patch的建模、判别稀疏编码、GMM层先验等等)的单幅图像去雨。
从这篇往后会认真看去雨的网络方法。
1、2017CVPR : DDN
这篇文章主要基于深度卷积神经网络以及ResNet,提出了一种深度细节网络用于减少从输入到输出的映射范围,使得学习过程更简单。
同时使用先验图像域知识,在训练中聚焦于高频细节,去除背景干扰,将模型聚焦于图像中雨的结构。
CNN可以有效提高模型探索捕捉各种特征的能力。
ResNet可以直接减少从输入到输出的映射范围。
本文的贡献:
1、使用了一种无损的负残差映射,用于定义干净图像和雨图之间的差异。预测残差来减少映射范围。
2、采用了ResNet结构作为图像特征深入探索的参数层,同时利用先验知识并使用图像细节层作为输入,而不是直接在图像上应用ResNet。这样便去除了背景干扰,细节层大部分像素都接近0.
3、合成了一个包含14000对干净雨图的数据集。
网络框架
其中,参数层结构为ResNet结构。