Multi-Head Linear Attention Generative Adversarial Network for Thin Cloud Removal 论文翻译

全局优化2020

论文名称 用于薄云去除的多头线性注意力生成对抗网络

摘要

在遥感图像中，薄云的存在是一种不可避免且普遍的现象，它严重降低了影像质量并限制了应用场景。因此，薄云去除是增强遥感图像利用率的重要步骤。通常，即使受到薄云的污染，像素仍然或多或少保留了表面信息。因此，与厚云去除不同，薄云去除算法通常集中于抑制云的影响，而不是替代被云污染的像素。同时，考虑到云遮挡的表面特征通常与相邻区域相似，输入图像中每个像素之间的依赖关系对重建污染区域非常有用。在本文中，为了充分利用图像中像素之间的依赖关系，我们提出了一种用于薄云去除的多头线性注意力生成对抗网络（MLA-GAN）。MLA-GAN 基于编码解码框架，由多个基于注意力的层和反卷积层组成。与六个基于深度学习的薄云去除基准方法相比，在 RICE1 和 RICE2 数据集上的实验结果表明，所提出的 MLA-GAN 框架在薄云去除方面具有显著优势。

关键词 薄云去除、注意力机制、生成对抗网络

1. 引言

        得益于地球观测技术的快速发展，现如今可获得大量具有高空间和光谱分辨率的遥感图像，这些图像可应用于图像分类（Lyons et al., 2018；Maggiori et al., 2016）、目标检测（Li et al., 2017；Xia et al., 2018）和语义分割（Kemker et al., 2018；Zhang et al., 2019a）等多个领域。轨道获取的重访特性使得对陆地表面、海洋和大气的连续监测成为可能。作为主要的获取方法，光学传感器在捕捉和生成遥感图像中发挥着重要作用。然而，光学遥感图像不可避免地受到云层覆盖的污染，这严重妨碍了其潜在利用价值。具体而言，全球约有35%的陆地表面在任何时间都被云层遮挡（Lin et al., 2013）。云层减缓了电磁信号的传输，导致表面信息缺失。厚实的不透明云可能会完全阻挡来自地球表面的回波信号，而薄透光云则会衰减电磁信号的能量，并使被覆盖区域出现雾霾（Li et al., 2019）。由于云层覆盖是不可避免且普遍存在的，极大限制了光学遥感图像的可用性，因此使用适当的方法去除云层显得至关重要。

        对于厚云去除，由于土地覆盖信息完全被阻挡，主要目标是利用可用信息重建被云污染的像素。根据用于重建云覆盖区域的信息来源，现有方法可分为基于空间信息的方法（Cheng et al., 2017；Shen et al., 2014；Zeng et al., 2013）、基于光谱信息的方法（Li et al., 2012；Malek et al., 2017；Zhang et al., 2002）和基于时间信息的方法（Chen et al., 2019b；Ji et al., 2018；Zhang et al., 2020b）。具体而言，基于空间信息的方法通过云掩盖区域及无云区域的信息来修复云区。典型方法包括像素插值（Van der Meer, 2012）、张量补全（Liu et al., 2012）和结构保持全局优化（Cheng et al., 2017）。然而，由于有限的可用信息，基于空间信息的方法通常只能在云层覆盖非常大的情况下生成一个视觉上合理的无云图像。对于多光谱和高光谱图像，即便某些波段受到云层污染，其余特定波段仍可能完好无损。因此，基于光谱信息的方法（Gladkova et al., 2011；Malek et al., 2017）旨在利用未受影响和无污染波段的信息来恢复缺失波段的信息。然而，当所有波段都受到污染时，这些方法就失效了。基于时间信息的方法是解决这一困境的有效方案，它们利用至少一幅无云参考图像来覆盖待修复图像中的云区。引入了残差校正（Zeng et al., 2018）、马尔可夫随机场（Cheng et al., 2014）、主成分分析（Zhang et al., 2019c）、稀疏分解（Chen et al., 2019b）和许多其他先进技术。

        与厚云去除不同，薄云去除的基本目标是抑制云成分并增强表面特征，因为土地覆盖的信息并未完全被云层遮挡。将薄云视为低频成分，已有一些方法通过在频域中处理这一问题而提出（Hu et al., 2015；Li et al., 2013）。例如，Liu 和 Hunt（1984）提出了同态滤波（HF）方法，通过使用低通滤波器抑制薄云区域。（Shen et al., 2014）进一步改进了 HF 方法，将薄云视为低频信息。由于高空间相关性，Xu 等人（2019）发现云污染数据的最高信噪比特性，并开发了一种主成分转换方法用于薄云去除。

        与此同时，基于光谱的方法也常用于薄云去除（Meng et al., 2009；Zhang et al., 2014）。雾霾优化变换（HOT）是一种强健且简洁的方法，用于分析土地覆盖的光谱响应属性和雾霾/云层的空间分布（Zhang et al., 2002）。（Chen et al., 2015）进一步开发了一种迭代的 HOT（IHOT）方法，以解决亮表面与雾霾/云层之间的光谱混淆问题。（Lv et al., 2016）提出了一种基于经验和辐射传递模型的云去除算法，该模型建立在假设地面目标的气顶反射率在晴空条件下任意两个可见波段之间线性相关的基础上。

        尽管所有这些尝试都取得了令人鼓舞的进展，并拓宽了云去除领域的边界，但对特定