论文阅读：Single Image Deraining using a Recurrent Multi-scale Aggregation and Enhancement Network

Single Image Deraining using a Recurrent Multi-scale Aggregation and Enhancement Network

基于递归的多尺度聚合增强网络的单幅图像去雨

写在最前面：主要是对阅读的文献记录一下
文献地址：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8784948
代码：https://github.com/nnUyi/ReMAEN

1.概述

本篇文章是2019 ICME的一篇文章，篇幅较短，短小精悍。
首先是对前人的去雨方面的处理方法进行了一个比较系统的总结，然后结合递归的结构提出了一个ReMAEN网络结构进行去雨方面的处理。网络结构对SENet做了较多借用。

本文主要提出了一种方法：Recurrent Multi-scale Aggregation and Enhanement Network(ReMAEN).
ReMAEN 包含一个对称的结构，在这个结构中，具有共享通道注意的重复块被应用于协作地选择有用的信息，并逐步删除雨条纹。

ReMAEN网络结构主要是利用递归模块构造出对称的网络结构，并结合相邻阶段之间的相关性来逐渐去除雨纹。同时，在每个递归模块的隐藏状态中应用一个共享的信道注意模块协同选择有用信息。其中模块MAEB用于表征不同尺度下雨纹的细节，同时这些模块采用对称跳跃式链接，保持雨纹细节从低到高流动。并且使用边缘损失来保存内部纹理。

2.网络框架

其中，网络的前半部分是雨的细节提取路径，后半部分是雨的细节响应路径，它们共同组成了ReMAEN网络。将包含雨纹的图片作为输入，通过ReMAEN网络，通过一个RMG模块来生成雨图Rt，再将第t-1次的输入与生成的雨图Rt做差，得到去雨之后的图片以及第t次的输入。

图中，MAEB包含了一个MAB网络和一个SE网络。MAB包含p条路径，每条路径有卷积层和激活层两层，使用leaky relu作为激活函数，完成多尺度的雨纹特征提取。并且使用一个SE网络来更好地模拟多尺度雨的细节的内在相互依赖性。同时，这些SE网络组成一个channel-attention
模块分享相同的参数。RB则是用来保持有用的信息，shared SE在每个重复的模块后面来共享相同的参数，帮助RBs选择有用的信息。最后面是一个RMG雨图生成模块，也是一个SE网络，来生成雨图。

同大多数图像处理的文章一样，选用了峰值信噪比PSNR和结构相似性SSIM作为客观评价指标。