摘要:
在单幅图像去雨方面的大多数进展都遇到了一个关键的挑战,即在保留图像细节的同时去除不同尺度和形状的雨条纹。现有的单幅图像消雨方法将消雨条纹直接视为像素级回归过程。然而,他们在过度降雨(如去除无雨区域的纹理细节)和去雨不足(如留下雨纹)之间缺乏平衡。在本文中,我们首先提出了一种由粗到细的渐进式网络(GraNet),它由粗步骤和细步骤组成,用于研究具有不同粒度的单图像去雨。具体来说,为了揭示粗粒度的雨条纹特征(例如,长而厚的雨条纹/雨滴),我们提出了一个粗粒度阶段,通过一个由区域感知块组成的局部-全局子网络来利用局部-全局空间依赖性。将粗阶段重建的输出和原图像的残差值作为细粒度阶段输入,细粒度阶段通过去除细粒雨纹(如小雨纹、水雾),利用具有密集块和合并块的上下文合并子网络得到统一的无雨、重建良好的输出图像。通过对合成数据和真实数据的坚实而全面的实验表明,我们的GraNet在去除不同密度、尺度和形状的雨纹的同时,还能很好地保留无雨区域的图像细节,从而显著优于最先进的方法。
正文:
Motivation:
作者分析了以往方法的缺点,主要是在过度去雨和去雨不足之间找不到平衡点:
1.过度去雨造成无雨区域的细节丢失,c图所示。
2.去雨不足导致还存在雨纹 ,b图所示