【Gated Context Aggregation Network for Image Dehazing and Deraining用于图像去雾和去雨的门控上下文聚合网络】，个人笔记，勿喷

摘要
图像去雾旨在从模糊图像中恢复未损坏的内容。我们没有利用传统的低级或手工图像先验作为恢复约束，例如暗通道和增加的对比度，而是提出了一个端到端的门控上下文聚合网络来直接恢复最终的无雾图像。在这个网络中，我们采用最新的平滑扩张技术来帮助消除由广泛使用的扩张卷积引起的网格化伪影，额外参数可忽略不计，并利用门控子网络融合不同层次的特征。大量实验表明，我们的方法可以在数量和质量上大大超过以前的最先进方法。此外，为了证明所提出方法的通用性，我们进一步将其应用于图像去雨任务，这也达到了最先进的性能。代码已在 https://github.com/cddlyf/GCANet 上提供。
介绍
由于大气中存在混浊介质（如黄昏、烟雾和其他颗粒），在这种大气现象下拍摄的图像会出现可见质量下降，例如对比度和饱和度损失。以这些退化的图像作为输入，许多基于视觉的系统，最初是在假设干净的捕获环境下设计的，可能很容易受到性能急剧下降的困扰。鉴于此，图像去雾已被广泛研究以从损坏的输入中恢复干净的图像，作为上述系统的预处理步骤。在该文献中，雾化处理通常用物理损坏模型表示：
I(x) = J(x)t(x) + A(1 − t(x)) (1)
其中I(x)和J(x)分别是退化的朦胧图像和目标无朦胧场景的辐射度。A是全局大气光，t(x)是介质传输图，它取决于未知的深度信息。以前的大多数除霾方法首先估计传输图t(x)或大气光A，然后试图恢复最终的干净图像J(x)。但第一步是一个非常具有挑战性的问题，因为在实际场景中，透射图t(x)和大气光A往往都是未知的。
为了补偿损坏过程中丢失的信息，许多传统方法 [2, 16, 17, 29, 30, 46] 利用一些图像先验和视觉线索来估计传输图和大气光。例如，[16]通过使用退化图像的对比度通常急剧下降的先验来最大化目标图像的局部对比度。 [17] 基于室外无雾图像的图像块通常具有低强度值的假设，提出了暗通道先验。 [2] 依赖于无雾图像颜色可以很好地近似于几百种不同颜色的假设，并提出了一种基于非局部先验的去雾算法。但是，这些先验并不总是成立，因此在某些实际情况下它们可能无法正常工作。
随着深度学习的最新进展，许多基于 CNN 的方法 [1, 3, 31, 22, 32, 42] 通过利用大规模训练数据集提出。与上述传统方法相比，基于 CNN 的方法试图直接回归中间传输图或最终的干净图像，并获得卓越的性能和鲁棒性。 [3] 提出了一个端到端网络来估计中间传输图。 [22] 重新制定了大气散射模型，以通过轻量级 CNN 预测最终的干净图像。 [32] 从原始模糊图像创建三个不同的派生输入图像，并从这些派生输入中融合去雾结果。 [42]将等式（1）中的物理模型纳入网络设计，并使用两个子网络分别回归传输图和大气光。
在本文中，我们提出了一种新的端到端门控上下文聚合网络（称为“GCANet”）用于图像去雾。由于扩张卷积被广泛用于在不牺牲空间分辨率的情况下聚合上下文信息以提高其有效性 [41、25、36、15、9]，因此我们还采用它通过覆盖更多相邻像素来帮助获得更准确的恢复结果。然而，原始扩张卷积将产生所谓的“网格化伪影”[36, 15]，因为当扩张率大于 1 时，输出中的相邻单元是从输入中完全独立的集合中计算出来的。最近，[37] 以组合的方式分析了扩张卷积，并提出对扩张卷积进行平滑处理，这可以大大减少这种网格化伪影。因此，我们还将这个想法纳入我们的上下文聚合网络中。如 [42, 27] 所示，融合不同级别的特征通常对低级和高级任务都有好处。受此启发，我们进一步提出了一个门控子网络来确定不同级别的重要性，并根据其相应的重要性权重进行融合。 [32] 在他们的网络中也使用了门控融合模块，但他们直接融合了不同派生输入图像的去雾结果，而不是中间特征。
为了验证所提出的 GCANet 的有效性，我们将其与最近的去雾基准数据集 RESIDE [23] 上的最先进方法进行了比较。实验表明，我们的 GCANet 在质量和数量上都大大优于所有以前的方法。此外，我们进行了全面的消融研究，以了解每个组件的重要性。为了展示所提出的 GCANet 的普遍性，我们还将其应用于图像去雨任务，与之前最先进的图像去雨方法相比，它也可以获得更好的性能。
总而言之，我们的贡献有以下三个方面：
• 我们提出了一种新的端到端门控上下文聚合网络GCANet，用于图像去雾，其中使用平滑扩张卷积来避免网格化伪影，并应用门控子网络来融合不同级别的特征。
• 实验表明，GCANet 在定性和定量上都可以获得比以前所有最先进的图像去雾方法更好的性能。我们还提供全面的消融研究，以验证每个组件的重要性和必要性。
我们进一步将我们提出的 G