2019 CVPR:DAF-Net
这是2019CVPR的一篇文章,主要创新点是引入了深度信息完成去雨。
本篇文章首先指出了现有的方法由于忽略了物理特性,导致去雨的有效性较低。同时分析了雨图成像机理,指出远处的物体更多地是被雾遮挡,近处的则是雨纹,分析了受场景深度影响的雨的视觉效果,并共同制定了一个带有雨条纹和雾的雨成像模型;然后,并准备了一个新的数据集。然后设计了一个端到端的深度神经网络,我们训练它通过深度引导的注意力机制来学习深度注意力的特征,并回归剩余映射来产生无雨的图像输出。
创新之处:
1、引入了深度信息,制定了基于场景深度的雨的视觉效果的雨成像过程,实现了雨条纹和雾的合成。
2、设计了一个端到端的神经网络,形成深度指导的注意力机制学习深度注意特征,根据注意权值对残差图进行回归,去除输入雨图像中的雨条纹和雾。
3、准备了一个新的雨去除数据集。
前人工作:
由于现有数据集的限制,雨图数据都是通过清晰图像加上雨纹合成的,因此这些方法主要关注雨纹图像。
传统方法:
1、最早期通过设计基于低水平图像统计的手工先验来去除图像中的雨纹。
2、Barnum 结合条纹模型和雨的特征,在频域内检测和去除雨纹。
3、Chen 通过一个低秩先验去除雨纹,因为雨纹通常具有相似和重复的模式。
4、Li 采用基于高斯混合模型的patch先验对背景和雨层进行去除雨纹。
5、Zhu 估计主导降雨方向并提出了一种双层联合优化方法来迭代地将雨纹从背景中分离出来。
基于CNN:
1、Fu 从训练数据中学习无雨层和雨层之间的映射函数。DerainNet
2、Yang 创建了一个多任务网络,共同检测和去除降雨。JORDER
3、Fu 利用先验知识从输入图像中构造出基层和细节层,然后通过深度网络从细节层学习残差。DDN
4、Li 使用SE-Net建立了一个上下文扩展网络,迭代地预测阶段残差。RES