Cloud Removal in Optical Remote Sensing ImageryUsing Multiscale Distortion-Aware Networks论文翻译

 IEEE 2022

论文名称 MSDA-CR 基于多尺度失真感知网络的光学遥感图像去云

论文地址https://ieeexplore.ieee.org/abstract/document/9686746

目录

摘要

1介绍

2方法

a.云变形的物理模型

b.CDARL模块

c.MSDA—CR网络

d.损失函数

3.实验结果

A.数据描述

B.实验装置

C.结果和分析

D.消融研究

4.结论

---

摘要

云层污染是光学遥感（RS）图像中常见的问题。近年来，基于深度学习的遥感图像云去除引起了越来越多的关注。然而，它仍然具有挑战性，利用有用的多尺度云感知表示从云图像由于缺乏有效的建模云失真的影响和网络的功能表示能力弱。为了规避这些挑战，我们提出了一个多尺度失真感知云去除（MSDA—CR）网络组成的多个云失真感知表示学习（CDARL）模块结合在一个多尺度网格架构。具体而言，云失真控制功能（CDCF）的定义和纳入CDARL模块自适应建模的云干扰在成像过程中引起的失真效果，与可学习的参数利用失真恢复表示。这些表示在MSDA—CR网络中的不同尺度上进一步提取，并基于注意力机制进行集成，以恢复无云图像，同时保留地面物体的空间结构。在可见光和多光谱遥感数据集上进行的大量实验证实了所提出的MSDA—CR网络的有效性。索引术语—云失真，云去除，深度学习，图像恢复，遥感（RS）。

1介绍

        随着对地观测技术的发展，遥感图像信息在土地覆盖制图、自然资源监测、灾害响应等方面得到了广泛的应用。然而，这种光学遥感图像的质量可能会受到大气和照明条件的强烈影响。特别是，被观测的陆地表面可能部分甚至完全被云遮蔽，这会严重影响后续应用。因此，迫切需要发展有效的信号处理技术，从被云层污染的遥感图像中准确地恢复真实的地表信息。

        在文献中，有两类通用的RS图像云去除方法：基于图像增强的方法和基于深度学习的方法。在以前的研究中，基于图像增强的方法已被广泛用于去除云，因为它们易于解释和实施。这类方法主要是通过对云覆盖图像进行空间频率处理来实现去云。暗通道先验（DCP）可以被集成到图像的低频分量中，以基于非云区域中的像素应在至少一个颜色通道中表现出低强度的原则来估计用于云去除的云传输图[1]。Zhang et al. [2]提出了一种基于主成分分析的粗到细框架，具有组稀疏约束，以从低秩分量中恢复背景信息。然而，这些方法强烈依赖于手工制作的RS图像的特征和低秩假设。因此，他们的结果表明，对于被不同形式的云遮蔽的RS图像，鲁棒性较低[3]。

        基于深度学习的遥感图像去云方法因其较强的遥感图像代表性特征挖掘能力而受到广泛关注。具体而言，从污染图像中去除云可以被视为通过深度表示学习将像素从云退化域映射到无云域的任务。例如，Zi等人[3]在U-Net架构中采用卷积神经网络（CNN）来估计每个光谱带的厚度系数，并为多云图像生成云厚度图。此外，基于CNN的模型已嵌入对抗学习框架中，以实现增强的特征表示能力[4]，从而允许基于生成对抗网络（GAN）的图像到图像转换模型应用于云去除。例如，循环GAN [5]和条件GAN [6]模型，其中生成器旨在将云覆盖的图像转换为无云图像，并且训练器学习从恢复的图像中区分地面实况图像，已经采用了不同的训练策略。此外，Zheng等人[7]在对抗学习框架下结合了U-Net，一个生成器和一个搜索器，以去除薄云，同时恢复不规则的云覆盖区域。这种生成模型可以从污染图像中学习高级云感知特征表示，并从其编码表示中重建这些图像的无云内容。然而，他们 无法通过深度表示学习网络对受污染图像的多尺度云失真效果进行建模。尽管[8]利用GAN模型使用云失真的物理模型从污染图像中分解云失真层，但其用于云提取的U-Net架构无法充分利用有用的多尺度云失真感知表示来处理具有不同厚度的云。

        在这封信中，我们提出了一个多尺度失真感知云去除（MSDA-CR）网络，使用云失真感知表示学习（CDARL）模块作为基本编码块来恢复云层覆盖下的地表。CDARL模块通过自定义云失真控制函数（CDCF）学习自适应地对云反射、云透射和全球大气亮度的影响进行建模，以便从多云图像生成云失真恢复的表示图。MSDA-CR模型采用网格架构，逐步提取不同尺度的无云表示，并基于注意力机制自适应地整合这些多尺度表示。此外，一种新的混合损失函数，包括平滑L1损失，感知损失，和对抗性损失被用来训练MSDA-CR模型。

2方法