Multi-Stage Frequency Attention Network for ProgressiveOptical Remote Sensing Cloud Removal论文翻译

MDPI 2024

论文名称 渐进光学遥感去云的多级频率注意力网络

摘要

云污染显著影响光学遥感图像（RSIs），降低其在地球观测中的实用性。传统的去云技术通常依赖深度学习，旨在整体图像重建，这可能无意中改变云-free 区域的内在特性，从而导致图像失真。为了解决这个问题，我们提出了一种多阶段频率注意力网络（MFCRNet），这是一个用于光学 RSI 去云的渐进性范式。MFCRNet 逐层部署频率去云模块（FCRMs），以精细处理云边缘，同时保留频率域中非云区域的原始特征。具体而言，FCRM 从频率注意块（FAB）开始，该块将特征转换到频率域，从而增强云覆盖和无云区域之间的差异。此外，采用了非局部注意块（NAB）有效增强和传播上下文信息。此外，我们引入了一种协同损失函数，将语义、边界和频率域信息汇聚在一起。在 RICE1、RICE2 和 T-Cloud 数据集上的实验结果表明，MFCRNet 超越了当前模型，在平均绝对误差（MAE）、均方根误差（RMSE）、峰值信噪比（PSNR）和结构相似性指数（SSIM）等方面取得了优越的性能，验证了其在光学 RSI 上去云的有效性。

关键词

光学遥感图像；去云；多阶段网络；频率注意；非局部注意

1. 引言

        遥感技术作为一种不可或缺的工具，使得能够持续快速地获取与地球表面相关的几何和物理信息 [1]。随着遥感技术的快速进步，光学遥感图像（RSIs）已成为地球观测的主要媒介 [2]。然而，云层覆盖大约 55% 的地球表面，显著阻碍了光学 RSIs 的解释和利用 [3]。因此，从光学 RSIs 中去除云层是一个重要的挑战 [4]。

        传统的去云技术主要依赖于相邻像素之间的局部相关性原则，建立在云覆盖区域与其相邻无云区域具有相似特征的假设之上 [5]。因此，这些技术利用来自无云区域的数据来重建或替代云覆盖的区域，采用插值 [6]、滤波 [7] 和基于示例的策略 [8] 等方法。例如，Zhu 等人 [9] 引入了一种利用修改后的邻域相似像素插值器（NSPI）的新型去云方法。类似地，Siravenha 等人 [10] 使用高增益滤波器和同态滤波进行散布云的消除，而 He 等人 [11] 则通过分析相似补丁偏移提出了一种创新的图像补全技术。这些方法基本上假设云覆盖区域和无云区域之间的特征相似。然而，它们可能会在新生成的无云区域与原始云覆盖区域的边界处引入不连续性或伪影，从而导致恢复图像中的不自然效果 [12]。此外，这些方法通常需要手动调整参数以实现最佳结果，增加了复杂性，并可能导致性能的不一致 [13]。

        机器学习技术的出现，包括决策树（DTs）[14]、支持向量机（SVMs）[15]、随机森林（RFs）[16]等，显著缓解了传统去云方法的限制。通过利用包含云层和无云影像的广泛数据集，机器学习模型能够灵活地辨别这些区域之间复杂的模式和差异。因此，它们能够区分图像中的云覆盖区域和无云区域，从而促进有效的云恢复。Lee 等人 [17] 引入了多类支持向量机（MSVM），作为一种有前景的高效算法用于云去除预处理。Hu 等人 [18] 开发了一种针对受污染 RSIs 的薄云去除算法，将多方向双树复数小波变换（M-DTCWT）与领域自适应转移最小二乘支持向量回归（T-LSSVR）相结合，以确保在消除薄云的同时保留地面物体细节。Tahsin 等人 [19] 设计了一种创新的光学云像素恢复（OCPR）方法，使用在多参数水文数据上训练的随机森林来恢复 Landsat NDVI 图像中的云像素。

        然而，机器学习方法通常不会直接从原始数据中提取高层特征表示。相反，它们依赖于领域专家的专业知识和先前经验进行特征选择。图像重建的有效性受到这些手工特征的质量和选择的深刻影响，带来了主观性和固有的局限性。

        近年来，深度学习强大的非线性建模能力的整合，特别是通过卷积神经网络（CNNs），彻底改变了去云工作。这些网络可以自主学习来自原始数据的特征表示，消除了手动特征提取或选择的必要性。这种端到端的学习范式大大减少了在云去除过程中对手动输入的需求。Zhang 等人 [20] 引入了 DeepGEE-S2CR，一种将 Google Earth Engine（GEE）数据与多级特征连接的 CNN 结合的方法，用于高效清除 Sentinel-2 图像中的云，同时使用 Sentinel-1 合成孔径雷达影像作为补充数据。同时，Ma 等人 [21] 提出了创新的云增强 GAN（Cloud-EGAN）策略，该策略在循环一致的生成对抗网络（CycleGAN）框架内结合了显著性和高级特征增强模块。CNN 的广泛应用显著提高了去云模型识别图像中云覆盖和无云区域之间复杂特征和变化的能力，进而改善了云影像的重建效果。

        在传统的 CNN 架构中，模型的有效感受野受到网络深度和卷积核大小的限制，限制了捕获全面特征和上下文信息的能力 [22]。这一限制妨碍了模型处理图像全球信息的能力。为了解决这一限制，注意力机制 [23] 已被集成到去云模型中，以增强其获取全球信息的能力，使其能够在不同图像区域之间动态调整重点。这些增强使得这些模型能够优先重建云覆盖区域，从而显著改善它们对图像分析的贡献。Xu 等人 [24] 引入了 AMGAN-CR，有效利用注意力图及注意力递归和残差网络，与重建网络结合，以应对去云的挑战。Wu 等人 [25] 提出了 Cloudformer，这是一种基于变压器的模型，它将卷积和自注意力机制与局部增强的位置编码（LePE）结合，通过在不同尺度上提取特征并增强位置编码能力，巧妙地管理云去除。

        尽管现有的深度学习去云模型展现了令人鼓舞的结果，但它们仍面临显著的局限性。具体来说，这些模型 [26,27] 在训练过程中主要依赖逐像素的方法，忽视了像素之间的全局一致性。这导致在语义层面上，重建区域与周围无云区域的无缝融合存在困难。为了解决这一挑战，一些研究 [28,29] 引入了掩膜技术，旨在更准确地区分云覆盖区域和无云区域，从而指导局部特征和过渡的详细重建。然而，这些掩膜的准确性仍然是限制其性能的关键因素。此外，目前在去云任务中使用的注意力机制主要集中于通道和空间注意力，较大程度上忽视了图像中的频率特征 [30]。频率特征作为图像信息的另一个重要维度，对于捕捉图像的整体结构和局部细节至关重要。因此，将频率特征有效整合到去云模型中，以实现云覆盖区域和无云区域的统一重建，从而提高重建图像的质量和语义一致性，仍然是一个紧迫的研究问题。

        为了解决这些问题，我们引入了一种利用快速傅里叶变换（FFT）的频域注意力机制，以增强云去除模型的空间信息处理能力和性能，因为频率信息对云去除至关重要。低频强调图像的整体内容，而高频则关注边缘轮廓和纹理细节。利用高频信息至关重要。此外，精确的边界划定在云去除中至关重要，可以准确识别云覆盖区域，从而使针对性的重建工作能够保留无云区域的完整性。我们提出了一种多阶段重建策略，旨在细化边界特征，并设计一个协同优化损失函数，以专注于云覆盖区域的边界，同时最小化无云区域的不必要重建。主要贡献总结如下：

1. 频率去云模块 (FCRM)：我们提出了一种在频域中善于恢复细节并保留非云区原始特征的频率去云模块。FCRM 利用频域注意力关注云图与无云图之间频域信息的差异，以细化图像的边界信息。此外，它引入了非局部注意力块，以捕获局部和非局部关系，通过全局依赖关系增强上下文连接。

2. 协同优化损失函数：我们引入了一个由 Charbonnier 损失、边缘损失和 FFT 损失组成的协同优化损失函数，旨在确保全局鲁棒性、边缘保持精度与频率感知适应性，该函数对边界偏移进行惩罚，同时确保主题一致性，并保留复杂的图像细节和纹理。

3. 多阶段频率注意力网络 (MFCRNet)：该网络围绕编码器-解码器架构构建，专门设计用于重建被云遮挡的区域。在前 N - 1 层中利用 FCRM 模块，能够从输入图像中细致地去云。为了最小化上采样操作所带来的信息损失，在第 N 层直接将变体 ResNet 应用于输入图像。

4. 实验验证：在 RICE1、RICE2 [31] 和 T-Cloud [32] 数据集上进行了一系列实验，证明了所提方法的可行性和优越性。相比