Thick Cloud Removal in Multitemporal RemoteSensing Images via Low-Rank RegularizedSelf-Supervised 翻译

IEEE 2024

论文翻译 基于低秩正则化自监督网络的多时相遥感图像厚云去除

摘要—厚云的存在覆盖了光学遥感图像（RSIs）的全面地球观测。去除云层是提高RSIs后续应用的有效且经济的预处理步骤。基于深度学习（DL）的方法受到广泛关注，并取得了最先进的成果。然而，大多数这些方法存在以下问题：1）忽视了RSIs的物理特性；2）需要带云和无云的配对图像或额外辅助图像；3）需要云掩膜。这些问题可能限制了现有网络的灵活性。本文提出了一种新颖的低秩正则化自监督网络（LRRSSN），结合模型驱动和数据驱动的方法，从多时相遥感图像（MRSIs）中去除厚云。首先，受图像和云组件同等重要性及其内在特征的启发，我们将观测图像分解为低秩图像和结构稀疏云组件。通过这种方式，我们获得了一种基于模型的厚云去除方法，有效利用了图像组件的光谱-时间低秩相关性和云组件的光谱结构稀疏性。其次，为了捕捉不同场景的复杂非线性特征，设计了一种不需要外部训练数据集的数据驱动自监督网络，以探索图像组件的深层先验。第三，耦合模型驱动和数据驱动的LRRSSN通过高效的半二次分裂（HQS）算法进行优化。最后，在不知道确切云掩膜的情况下，我们估计云掩膜，以尽可能保留无云区域的信息。在合成和真实场景中进行的实验表明了所提方法的有效性。 关键词—低秩，多时相遥感图像，自监督网络，厚云去除。

I. 引言

        随着遥感技术和硬件设备的发展，现如今可获得更高空间、光谱和时间分辨率的光学遥感图像（RSIs）。得益于丰富的空间、光谱和时间信息，RSIs已被广泛应用于地球观测应用 [1]，如土地覆盖分类 [2]、目标检测 [3] 和环境监测 [4]。然而，由于成像设备和外部环境的影响，收集到的RSIs不可避免地受到厚云的干扰 [5]，这严重影响了后续应用。分析表明，云层每年覆盖35%的地球表面 [6]，使得获取高质量的RSIs变得具有挑战性，特别是对于多时相RSIs（MRSIs） [7]。因此，去除云层成为光学遥感成像中的一个紧迫问题。

        针对厚云去除，已经提出了许多方法，可以大致分为两类：传统方法和深度学习（DL）方法 [8]。传统方法通过多步骤过程或模型驱动优化模型实现厚云去除，这些方法根据使用辅助信息类型的不同，分为空间方法、光谱方法和时间方法。空间方法主要用于单个RSI中的厚云去除，它们将厚云去除任务转化为图像修复 [9]，[10]，[11]，[12]。这些方法通过利用同一图像中相邻的无云区域的空间细节，重建被云覆盖区域的信息。Maalouf等人 [9] 通过在该区域内部传播几何流曲线来重建云区域。虽然对于去除小的云区且图像细节简单的情况较为有效，但这些方法在处理具有复杂细节的大云区时可能会遇到困难。

        光谱方法通过引入额外的无云辅助光谱带来重建厚云带 [13]，[14]，[15]，[16]，[17]。这些辅助光谱带可以来自不同的时间采集或不同的传感器。由于中分辨率成像光谱仪（MODIS）波段6和7之间存在强相关性，Rakwatin等人 [13] 和Shen等人 [14] 利用辅助的清洁波段7来重建波段6缺失的信息。此外，Xu等人 [16] 通过信号传输和光谱混合分析开发了一种云去除方法。基于此，Xu等人 [17] 进一步提出了一种噪声调整主成分变换模型用于云去除。总体而言，光谱方法在某种程度上能够重建大云区。然而，当光谱波段由于缺乏辅助信息而表现出相关性不足时，这些方法就变得不适用了。

图1所示。我们提出的用于MRSIs中厚云去除的LRRSSN的示例。

        由于光学卫星可以对同一场景进行周期性成像，时间方法通过引入不同时间的对应图像（即多时相遥感图像，MRSIs）来重建厚云区域 [18]，[19]，[20]，[21]。Lin等人 [21] 提出了基于信息克隆的多阶段方法，该方法利用MRSIs的时间相关性重建云区域的信息。考虑到MRSIs在光谱-时间维度上的高相关性，模型驱动技术将厚云区域视为缺失的信息，并设计低秩补全模型来重建原始信息 [22]。Ji等人 [23] 使用低秩张量补全模型重建MRSIs中云区域的缺失信息。He等人 [24] 提出了利用不同维度MRSIs的低秩特性的张量环补全模型。然而，这些补全方法的性能高度依赖于云掩膜的准确性。在MRSIs中，逐步发展了无盲厚云去除技术，以减轻云掩膜的影响。这些方法将厚云去除任务视为去噪逆问题，并探索图像和云组件的统计先验 [25]，[26]，[27]。Chen等人 [25] 首先提出了一种盲云去除方法，通过将云污染图像分解为低秩干净图像组件和稀疏云组件，从而检测估计的云组件中的云掩膜。遵循图像分解的视角 [28]，[29]，[30]，[31]，Lin等人 [29] 提出了耦合张量分解以探索同一场景中MRSIs表示系数之间的关系。Zheng等人 [30] 将厚云污染图像视为低秩张量组件和组稀疏组件的组合。虽然模型驱动方法试图解决MRSIs中云掩膜的关键问题，但它们严重依赖于手工制作的先验。然而，这些手工制作的先验可能并不适用于具有不同分辨率和不同场景的所有数据。

        最近，神经网络强大的非线性拟合能力使得深度学习（DL）成为图像处理中的成功工具 [32]。因此，基于DL的方法被广泛应用于厚云去除，学习厚云污染图像与配对无云图像之间的非线性端到端映射 [33]，[34]，[35]，[36]。卷积神经网络（CNN）通常被设计用来重建厚云污染区域 [37]，[38]，[39]，[40]，[41]，[42]，[43]。Zhang等人 [37] 设计了一个渐进式时空补丁组学习框架，用于MRSIs中的厚云去除。Ji等人 [38] 提出了一种自训练多尺度全卷积网络，用于MRSIs中的云去除。Ebel等人 [43] 设计了一种多时相3D CNN，从一系列合成孔径雷达（SAR）图像中预测无云图像。为了提高CNN的性能，生成对抗网络（GAN）被用于厚云去除 [8]，[44]，[45]，[46]，[47]，[48]。Xu等人 [8] 引入了一种基于注意力机制的GAN，用于Landsat图像中的云去除。由于基于DL的方法有效地学习了云的多尺度特征，它们能够在有足够配对训练数据的情况下，比传统方法获得更好的结果。然而，现有的DL方法专注于单个或多光谱图像（RGB图像）的厚云去除，忽略了厚云污染图像的多时相内在特征。此外，云掩膜需要准确给出，因此云检测是一个关键的预处理步骤，并极大地影响结果。此外，这些网络通常是针对特定数据和云条件设计的，这意味着它们可能不适用于在分辨率、光谱波段数量或时间节点数量上与训练数据不同的测试数据。

        数据驱动与模型驱动方法的结合可以有效利用数据的统计先验和潜在的深层图像先验 [49]，[50]，[51]，[52]，[53]。Zhao等人 [50] 引入了一种新颖的张量补全框架，同时利用互补的全局、局部和非局部先验。Luo等人 [51] 提出了一种非线性多层神经网络，通过仅使用观察到的张量以自监督方式学习非线性变换。Wang等人 [52] 提出了用于厚云去除的无监督域分解网络，能够有效且高效地利用MRSIs丰富的空间-光谱-时间信息。然而，在特定于云去除任务的数据驱动和模型驱动方法结合方面的研究相对较少，这类混合方法的潜力尚未得到充分挖掘。

        考虑到传统和DL方法的优势和障碍，本文提出了一种新颖的低秩正则化自监