【Gated Context Aggregation Network for Image Dehazing and Deraining用于图像去雾和去雨的门控上下文聚合网络】，个人笔记，勿喷

摘要
图像去雾旨在从模糊图像中恢复未损坏的内容。我们没有利用传统的低级或手工图像先验作为恢复约束，例如暗通道和增加的对比度，而是提出了一个端到端的门控上下文聚合网络来直接恢复最终的无雾图像。在这个网络中，我们采用最新的平滑扩张技术来帮助消除由广泛使用的扩张卷积引起的网格化伪影，额外参数可忽略不计，并利用门控子网络融合不同层次的特征。大量实验表明，我们的方法可以在数量和质量上大大超过以前的最先进方法。此外，为了证明所提出方法的通用性，我们进一步将其应用于图像去雨任务，这也达到了最先进的性能。代码已在 https://github.com/cddlyf/GCANet 上提供。
介绍
由于大气中存在混浊介质（如黄昏、烟雾和其他颗粒），在这种大气现象下拍摄的图像会出现可见质量下降，例如对比度和饱和度损失。以这些退化的图像作为输入，许多基于视觉的系统，最初是在假设干净的捕获环境下设计的，可能很容易受到性能急剧下降的困扰。鉴于此，图像去雾已被广泛研究以从损坏的输入中恢复干净的图像，作为上述系统的预处理步骤。在该文献中，雾化处理通常用物理损坏模型表示：
I(x) = J(x)t(x) + A(1 − t(x)) (1)
其中I(x)和J(x)分别是退化的朦胧图像和目标无朦胧场景的辐射度。A是全局大气光，t(x)是介质传输图，它取决于未知的深度信息。以前的大多数除霾方法首先估计传输图t(x)或大气光A，然后试图恢复最终的干净图像J(x)。但第一步是一个非常具有挑战性的问题，因为在实际场景中，透射图t(x)和大气光A往往都是未知的。
为了补偿损坏过程中丢失的信息，许多传统方法 [2, 16, 17, 29, 30, 46] 利用一些图像先验和视觉线索来估计传输图和大气光。例如，[16]通过使用退化图像的对比度通常急剧下降的先验来最大化目标图像的局部对比度。 [17] 基于室外无雾图像的图像块通常具有低强度值的假设，提出了暗通道先验。 [2] 依赖于无雾图像颜色可以很好地近似于几百种不同颜色的假设，并提出了一种基于非局部先验的去雾算法。但是，这些先验并不总是成立，因此在某些实际情况下它们可能无法正常工作。
随着深度学习的最新进展，许多基于 CNN 的方法 [1, 3, 31, 22, 32, 42] 通过利用大规模训练数据集提出。与上述传统方法相比，基于 CNN 的方法试图直接回归中间传输图或最终的干净图像，并获得卓越的性能和鲁棒性。 [3] 提出了一个端到端网络来估计中间传输图。 [22] 重新制定了大气散射模型，以通过轻量级 CNN 预测最终的干净图像。 [32] 从原始模糊图像创建三个不同的派生输入图像，并从这些派生输入中融合去雾结果。 [42]将等式（1）中的物理模型纳入网络设计，并使用两个子网络分别回归传输图和大气光。
在本文中，我们提出了一种新的端到端门控上下文聚合网络（称为“GCANet”）用于图像去雾。由于扩张卷积被广泛用于在不牺牲空间分辨率的情况下聚合上下文信息以提高其有效性 [41、25、36、15、9]，因此我们还采用它通过覆盖更多相邻像素来帮助获得更准确的恢复结果。然而，原始扩张卷积将产生所谓的“网格化伪影”[36, 15]，因为当扩张率大于 1 时，输出中的相邻单元是从输入中完全独立的集合中计算出来的。最近，[37] 以组合的方式分析了扩张卷积，并提出对扩张卷积进行平滑处理，这可以大大减少这种网格化伪影。因此，我们还将这个想法纳入我们的上下文聚合网络中。如 [42, 27] 所示，融合不同级别的特征通常对低级和高级任务都有好处。受此启发，我们进一步提出了一个门控子网络来确定不同级别的重要性，并根据其相应的重要性权重进行融合。 [32] 在他们的网络中也使用了门控融合模块，但他们直接融合了不同派生输入图像的去雾结果，而不是中间特征。
为了验证所提出的 GCANet 的有效性，我们将其与最近的去雾基准数据集 RESIDE [23] 上的最先进方法进行了比较。实验表明，我们的 GCANet 在质量和数量上都大大优于所有以前的方法。此外，我们进行了全面的消融研究，以了解每个组件的重要性。为了展示所提出的 GCANet 的普遍性，我们还将其应用于图像去雨任务，与之前最先进的图像去雨方法相比，它也可以获得更好的性能。
总而言之，我们的贡献有以下三个方面：
• 我们提出了一种新的端到端门控上下文聚合网络GCANet，用于图像去雾，其中使用平滑扩张卷积来避免网格化伪影，并应用门控子网络来融合不同级别的特征。
• 实验表明，GCANet 在定性和定量上都可以获得比以前所有最先进的图像去雾方法更好的性能。我们还提供全面的消融研究，以验证每个组件的重要性和必要性。
我们进一步将我们提出的 GCANet 应用于图像去雨任务，它也优于以前最先进的图像去雨方法并证明了它的通用性。
在本文的其余部分安排如下。我们将在第 2 节中首先总结相关工作，然后在第 3 节中给出我们的主要技术细节。最后，我们将在第 4 节中提供全面的实验结果和消融研究，并在第 6 节中得出结论。
2. Related Work
单图像去雾是等式（1）中定义的物理损坏过程的逆恢复过程，由于未知的透射图和全局大气光，这是一个高度不适定的问题。在过去的几十年中，为了解决这一具有挑战性的问题，提出了许多不同的图像去雾方法，大致可分为传统的基于先验的方法和现代的基于学习的方法。这两种类型之间最显着的区别在于，图像先验在前一种类型中是手工制作的，而在后一种类型中是自动学习的。
在传统的基于先验的方法中，许多不同的图像统计先验被用作额外的约束来补偿损坏过程中的信息丢失。例如，[11] 通过估计场景的反照率提出了一种基于物理的方法。 [17,38,39]在更可靠地计算中间传输图之前发现并改进有效暗通道。 [34]通过假设清晰图像的局部对比度高于模糊图像的局部对比度，使用马尔可夫随机场最大化图像的局部对比度。基于小图像块通常在 RGB 颜色空间中表现出一维分布的观察，[12] 最近提出了一种用于图像去雾的颜色线方法，[2] 提出了一种在表征干净图像之前的非局部路径.然而，这些专门手工制作的先验适用于某些情况，但它们并不总是能够处理所有情况。
最近，利用大规模数据集和 GPU 强大的并行性，提出了基于学习的图像去雾方法。在这些类型的方法中，图像先验由神经网络自动从训练数据集中学习并保存在网络权重中。它们的主要区别通常在于学习目标和详细的网络结构。 [3, 31] 分别提出了端到端的 CNN 网络和多尺度网络来预测中间传输图。然而，传输图估计的不准确总是导致低质量的去雾结果。 [22]将传输图和大气光编码为一个变量，然后使用轻量级网络对其进行预测。 [42]按照公式（1）中定义的物理模型，设计了两个不同的子网络，用于预测透射图和大气光。我们提出了一种用于图像去雾的端到端门控上下文聚合网络，但与这些方法不同，我们提出的 GCANet 旨在直接回归模糊图像和目标干净图像之间的残差。此外，我们的网络结构与之前的网络结构明显不同，它非常轻量级，但可以实现比之前所有方法更好的结果。
3. Method
在本节中，我们将介绍所提出的门控上下文聚合网络 GCANet 的架构。如图 1 所示，给定一个模糊的输入图像，我们首先通过编码器部分将其编码为特征图，然后通过聚合更多的上下文信息和融合不同级别的特征而不进行下采样来增强它们。具体来说，利用了平滑扩张卷积和额外的门子网络。增强后的特征图最终将被解码回原始图像空间以获得目标雾霾残留。通过将其添加到输入的有雾图像上，我们将获得最终的无雾图像。
平滑扩张卷积现代图像分类网络 [21, 33, 18] 通常通过连续的池化和子采样层集成多尺度上下文信息，这些层会降低分辨率，直到获得全局预测。然而，对于像分割这样的密集预测任务，矛盾在于所需的多尺度上下文推理和下采样过程中丢失的空间分辨率信息。为了解决这个问题，[41] 提出了一种新的扩张卷积层，它支持感受野的指数扩展，而不会损失分辨率或覆盖范围。在一维情况下，给定一维输入 f，核大小为 k 的常规卷积层 w 的输出为：

其中一个输出点覆盖总共 k 个输入点，因此感受野为 k。但是对于空洞卷积，可以看成是“带有空洞滤波器的卷积”，可以表示为：

其中 r 是膨胀率，当 r = 1 时，膨胀卷积将退化为常规卷积。为了直观地理解膨胀卷积，我们可以将其视为在 w 的两个相邻权重之间插入 r-1 个零。这样，空洞卷积可以在不降低分辨率的情况下将原始感受野从 k 增加到 r ∗ (k − 1) + 1。
尽管空洞卷积很有效，但它会产生所谓的网格伪影，这在之前的论文中也注意到了 [36, 15]。为了更清楚地理解这个问题，最近的一项工作 [37] 以组合的方式分析了扩张卷积。网格化伪影的图示如图 2 所示，其中分析了 r = 2、k = 3 的一个扩张卷积层的情况。考虑下一层的四个相邻像素，它们和它们在上一层的依赖单元分别用四种不同的颜色标记。我们可以很容易地发现，这四个相邻像素与前一层中完全不同的先前单元集相关。换句话说，空洞卷积中的输入单元或输出单元之间没有依赖关系。这就是为什么它可能会导致不一致，即网格化伪影。
为了缓解这一问题，[37]提出通过增加一个额外的内核大小为(2r - 1)的卷积层，在稀释卷积前的输入单元或稀释卷积后的输出单元之间增加交互。在本文中，我们选择默认添加输入单元的依赖性。需要注意的是，[37]采用了可分离和共享卷积作为额外的卷积层，而不是虚构的卷积层。 "可分离 "是指来自[8]的可分离卷积思想，而 "共享 "是指所有通道的卷积权重是共享的。这样，这个特殊的卷积层有一个恒定的参数大小（2r - 1）2，它与特征通道数无关。图2是平滑扩张卷积的一个图例。
门控融合子网
如 [27, 42] 所示，融合不同层次的特征通常对低层次和高层次的任务都有好处。为了实现这个想法，[27]使用特征金字塔来融合所有尺度的高级语义特征图，[42]利用密集连接的网络。在本文中，我们采用了一种不同的方式，加入了一个额外的门控融合子网络 G。具体来说，我们首先从不同级别的 Fl、Fm、Fh 中提取特征图，并将它们输入到门控融合子网络中。门控融合子网络的输出是三个不同的重要性权重（Ml，Mm，Mh），分别对应每个特征级别。最后，将这三个不同层次的特征图 Fl、Fm、Fh 与回归的重要性权重线性组合。
组合后的特征图 Fo 将进一步输入到解码器中以获得目标雾霾残留。在本文中，我们的门控融合子网络仅包含一个卷积层，内核大小为 3x3，其输入是 Fl、Fm、Fh 的串联，输出通道数为 3。

图 1. 所提出的 GCANet 的整体网络结构，它遵循基本的自动编码器结构。它由三个卷积块作为编码器部分，一个反卷积块和两个卷积块作为解码器部分组成。在它们之间插入几个平滑膨胀的 resblock 以聚合上下文信息，而不会出现网格化伪影。为了融合不同层次的特征，利用了一个额外的门融合子网络。在运行时，GCANet 将以端到端的方式预测目标干净图像和模糊输入图像之间的残差。
图 2. 扩张卷积的网格化伪影和[37]中提出的平滑扩张卷积的图示：下一层 i 中的四个不同点用不同的颜色表示，可以看出它们与完全不同的单元集有关前一层，这将可能导致网格化伪影。相比之下，平滑扩张卷积在扩张卷积之前增加了输入单元之间的依赖关系，具有额外的可分离和共享卷积层。
网络结构
遵循 [20, 10, 9] 中类似的网络设计原则，我们的整体网络结构也设计为简单的自动编码器，其中在编码器和解码器之间插入七个残差块以增强其学习能力。具体来说，首先使用三个卷积层将输入的模糊图像编码为特征图作为编码器部分，其中只有最后一个卷积层将特征图下采样 1/2 一次。对称地，在解码器部分使用一个步幅为 1/2 的反卷积层将特征图上采样到原始分辨率，然后接下来的两个卷积层将特征图转换回图像空间以获得最终的目标雾度残留。对于中间残差块，我们称它们为“Smoothed Dilated Resblock”，因为我们已将所有原始常规卷积层替换为上述平滑扩张卷积层。这七个残差块的膨胀率分别设置为(2, 2, 2, 4, 4, 4, 1)。为了在性能和运行时间之间取得良好的折衷，我们将所有中间卷积层的通道数设置为 64。请注意，除了最后一个卷积层和平滑扩张卷积层中每个额外的可分离和共享卷积层外，我们将每个卷积层之后的实例归一化层 [35] 和 ReLU 层。在实验部分，我们将展示实例归一化比批量归一化更适合图像去雾任务。
如 [10, 9] 所示，除了输入图像之外，预先计算输入图像的边缘并将其作为辅助信息馈送到网络中对网络学习非常有帮助。因此，默认情况下，我们也采用这个简单的想法，将预先计算的边缘与输入的模糊图像沿通道维度连接起来，作为 GCANet 的最终输入。
损失函数
在以前的基于学习的图像去雾方法[3、31、22、24、42、44]中，采用了简单的均方误差损失。遵循相同的策略，我们也默认使用这个简单的损失。但与这些方法不同的是，我们的学习目标是无雾图像和输入有雾图像之间的残差：

其中 r 和 r^ 分别是地面实况和预测的雾度残留。在运行时，我们将 r^ 添加到输入的有雾图像上，以获得最终预测的无雾图像。需要强调的是，设计更好的损失函数不是本文的重点，但我们提出的 GCANet 应该能够推广到更好的设计损失。例如，[24,42,44] 发现感知损失 [20] 和 GAN 损失可以改善最终的去雾结果。然而，即使只有上述简单的损失，我们的方法仍然可以达到最先进的性能。
4. 实验
实施细节 对于实验，我们首先验证所提出的 GCANet 在图像去雾任务上的有效性，然后通过进一步将其应用于图像去雨任务来证明其通用性。为了训练这两个任务，我们都直接采用可用的基准数据集进行训练和评估。对于每个任务，我们将我们的方法与许多以前的最先进方法进行比较。在不失一般性的情况下，我们对这两个任务使用几乎相同的训练策略。默认情况下，使用 Adam 优化器对整个网络进行 100 轮训练。默认初始学习率设置为 0.01，每 40 个 epoch 衰减 0.1。所有实验都在 4 个 GPU 上使用默认批量大小为 12 进行训练。
数据集设置 对于图像雾化任务，我们发现大多数先前的最先进的方法利用可用的深度数据集根据等式 (1) 中的物理损坏模型合成自己的模糊数据集，并仅对这些特定数据集进行评估.对这些数据集的直接比较是不公平的。最近，[23] 提出了一个图像去雾基准 RESIDE，它包括从深度和立体数据集合成的大规模训练和测试模糊图像对。为了与最先进的方法进行比较，他们使用了许多不同的评估指标，并在它们之间进行了全面的比较。尽管他们的测试数据集包含室内和室外图像，但他们只报告室内部分的定量结果。按照他们的策略，我们还定量比较了我们在室内数据集和室外数据集上的方法.
与图像雾化类似，也存在几个不同的用于图像去雨的大规模合成数据集。最近，[43] 开发了一个新的数据集，其中包含下雨密度标签（例如轻、中和重），用于密度感知图像去雨。虽然我们的方法中不需要降雨密度标签信息，但我们仍然采用该数据集进行公平比较。在这个数据集中，用 Photoshop 合成了 12000 张不同方向和尺度的训练雨天图像。
图像去雾的定量和定性评估在这一部分中，我们将在定量和定性方面将我们的方法与以前最先进的图像去雾方法进行比较。
如表1所示，六种不同的最先进的方法被用于定量评估。DCP[17], CAP[46], GRM[4], AOD-Net[22], DehazeNet[3], 和 GFN[32]。其中，前三个是基于先验的传统方法，后三个是基于学习的方法。为方便起见, 表1中除GFN外的所有结果都直接引用自[23]。对于GFN[32]，即最新的最先进的去雾化方法，他们在论文中也报告了在RESIDE SOTS室内数据集上的结果。虽然[23]中提出了各种评价指标，但我们只采用了PSNR和SSIM，这是以前的方法中最广泛使用的指标。可以看出，我们提出的GCANet在很大程度上超过了以前所有的除霾方法。
我们在图3中进一步展示了两幅室内和三幅室外朦胧图像的脱灰结果，以便进行定性比较。从这些视觉结果中，我们可以很容易地观察到，DCP[17]和CAP[46]会使脱灰结果的亮度相对较暗，这是因为它们的基本先验假设。对于AOD-Net[22]，我们发现它往往无法完全去除输入的雾霾。虽然GFN[32]在某些情况下可以达到相当好的除雾效果，但我们的GCANet是最好的，它既可以保留原始亮度，又可以尽可能地去除输入的雾霾。
消融分析
为了了解每个组件在我们的GCANet中的重要性，我们进行了有无每个特定组件的消融分析。具体来说，我们关注三个主要部分：有/无平滑扩张，有/无门控融合子网络，以及有实例规范化/批量规范化。相应地，在图像脱毛任务中评估了四种不同的网络配置，我们每次都会在每种配置中增加一个组件。如表3所示，在这些实验中，最终性能不断提高。然而，一个有趣的观察是，似乎最大的收益来自于实例规范化，而不是批量规范化。因此，我们进一步增加了一个实验，只使用实例归一化，不使用平滑扩张和门控融合网络。不出所料，它仍然可以取得比第一个配置的批处理规范化稍好的结果，但收益比上述的小。也就是说，通过将所有设计的组件组合在一起，比只应用其中的一个或一些组件可以取得更大的收益。
为了进一步验证我们的平滑扩张 resblock 在减轻网格伪影方面的有效性，我们将其与之前广泛使用的指数扩张 resblock [7, 9, 25] 进行比较，其中相邻 resblock 的扩张率呈指数增长（例如，2 , 4, 8, 16, 32)。
表 1. 来自 RESIDE 的 SOTS 室内数据集上图像去雾的定量比较。显然，我们的 GCANet 大大优于所有以前最先进的图像去雾方法。

图 3. 不同去雾方法对室内外雾霾图像的定性比较，最后一行是一个真实的雾霾示例。可以看出，我们的 GCANet 是最好的一种，它可以在保持原始亮度的同时去除底层的雾霾。
如图 5 中的两个具有代表性的去雾示例所示，当使用指数扩张的 resblock 时，网格伪影和颜色偏移通常发生在对象边界和纹理区域附近。相比之下，我们的平滑扩张 resblock 可以解决这个问题并保持原始颜色保真度。
图像去雨任务的一般性 图像去雨任务与图像去雾非常相似，其目的是从在下雨环境中捕获的损坏图像中去除雨条纹成分。虽然我们的重点是为图像去雾设计一个好的网络结构，但我们也很好奇所提出的 GCANet 是否可以应用于图像去雨任务。具体来说，我们利用 [43] 中合成的训练数据集，并将我们的方法与七种不同的图像去雨方法进行比较：DSC [28]、GMM [26]、CNN [13]、JORDER [40]、DDN [14]、JBO [45] 和 DID-MDN [43]。请注意，所有结果均引用自[43]。令人惊讶的是，如表 2 所示，我们的 GCANet 甚至优于以前的最佳方法 [43]，PSNR 超过 3 dB。
我们还在图 2 中提供了一个去雨的示例以进行视觉比较。可以看出，之前的许多方法如 CNN [13, 14] 往往会倾向于对图像进行欠脱水，并且在 JORDER [40] 的脱水结果中可能会出现一些意想不到的模式。为了查看更多细节，我们从天空区域裁剪并放大了一个局部补丁。很容易观察到，我们的 GCANet 的去雨结果比其他方法要清晰得多。

表 2. DID-MDN 测试数据集上图像去雨任务的定量比较结果（PSNR）。虽然我们的 GCANet 主要是为图像去雾而设计的，但它对于图像去雨任务的泛化效果非常好。

图 4. 不同最先进去雨方法的一个视觉示例去雨结果。显然，CNN [13]、JORDER [40] 等之前的方法倾向于对图像进行欠排水，而我们的 GCANet 可以达到最佳的排水效果。
表 3. 不同训练配置下每个组件的详细消融分析，这表明所有设计组件的组合是最好的。

图 5. 两个去雾示例展示了平滑扩张 resblock（右列）和规则指数扩张 resblock（左列）的优越性。显然，我们的平滑扩张 resblocks 改善了网格伪影并产生更好的去雾效果。
5. 结论
在本文中，我们提出了一种用于图像去雾的端到端门控上下文聚合网络。为了消除扩张卷积中的网格伪影，使用了最新的平滑扩张技术。此外，利用门控子网来融合不同层次的特征。尽管所提出的方法很简单，但它比以前最先进的图像去雾方法要好很多。我们进一步将所提出的网络应用于图像去雨任务，这也可以获得最先进的性能。未来，我们将尝试更多在 [6, 19] 中使用的 facy loss，并考虑扩展到像 [5] 那样的视频去雾。