【论文阅读】Single Image Deraining: A Comprehensive Benchmark Analysis

论文发表于CVPR2019
论文链接

对于单张图像去雨问题，大规模数据集和算法标准的缺失使得衡量取得的进展以及这些模型在实际应用中的效果。该论文试图填补这个缺口，对进行了综合的学习和评估，总结了目前存在的雨图模型，提出了一个大规模的benchmark，包括一个大数据集和多个涉及不同方面的评价指标

雨图模型

rain streak

雨线图可以表示为干净背景B和稀疏的线型雨水S的线性叠加：

raindrop

雨点图可以视为干净背景B和分散的、小范围、局部区域的雨点带来的模糊效果的组合：

M是一个二元掩码，如果该像素属于雨区，则M=1，若属于背景区则M=0

rain and mist

雨图常包含雨水及其带来的雾效。这种雨图可以建模为雨线模型+大气散射霾模型(atmospheric scattering haze model)：

S是雨线，t和A是透射图(transmission map)和大气光(atmospheric light)，它们决定了雾/薄雾成分

现有模型

现有模型可以分为三类：

• 基于多帧的模型
  早期的模型需要视频中多个帧的图像作为参考，得到雨水的平均强度。但这些方法无法用于单张图像去雨
• 基于先验知识的模型
  许多方法利用干净的图像或雨水类型的先验知识来消除雨水。它们依赖精心设计的先验，这些先验通常都相对简单。因此，它们在场景复杂、雨水类型多变的真实雨图上往往表现得不尽如人意
• 数据驱动的CNN模型
  近几年的模型中，CNN占主导地位。但它们的性能取决于训练集的合成数据，如果真实雨图与训练数据的域不匹配(domain mismatch)，则可能会出现问题

新的Benchmark

作者提出了一个新的benchmark，从多个角度评估去雨模型。整理、生成了一份大规模数据集，包括上述三种雨图的训练集，测试集中合成和真实数据集都包含。其中包含两个人工标注object bounding box的真实雨图数据集进行针对特定任务的评估

大规模数据集MPID

现有的数据集要么规模太小，要么缺少足够的真实图像来进行多样化的评估，而且没有任何一个数据集有语义标注或者考虑去雨后的图像在下游任务上的性能。作者整理、重新合成了大规模数据集MPID(Multi-Purpose Image Deraining)，整体组成如下表所示：

训练数据集：三个合成数据集

作者从网上收集室外白天无雨无雾多云天气、更贴近实际光照条件的图像，根据三种雨图模型合成了两个数据集(T即"training")：Rain streak (T), Rain and mist (T)。Rain drop(T) 数据集从DeRaindrop中借用

测试数据集

采用与训练集相同的方法产生了三个合成测试集（S即“synthetic testing”）：Rain streak(S), Rain drop (S), Rain and mist (S)；从网上收集了三个对应雨图模型的真实雨图数据集 (R即“real-world testing”)：Rain streak (R ) , Raindrop (R ), and Rain and mist (R )

评价

指标比较法

作者使用了两种参照指标PSNR，SSIM和三种无参照指标NIQE, SSEQ, BLIINDSII

人为主观比较法

作者从三种雨图模型的数据集中选取不同数量的图像，请11位评价人员对其进行打分

任务驱动比较法

去雨任务被视为一些下游的视觉任务（比如目标检测）的预处理步骤。因此作者希望通过实验检验经过去雨的图像是否对下游任务起到了帮助

实验结果表明，所有参与比较的现有去雨模型生成的去雨图在目标检测上的效果都比直接使用雨图要差