Cloud Removal in Remote Sensing Using Sequential-BasedDiffusion Models论文翻译

最新推荐文章于 2025-06-06 19:09:24 发布

森爱。

最新推荐文章于 2025-06-06 19:09:24 发布

阅读量924

点赞数 16

分类专栏：英文原文直译文章标签：深度学习机器学习人工智能

本文链接：https://blog.youkuaiyun.com/qq_69854365/article/details/141487789

版权

MDPI 2023

论文名称:基于序列扩散模型的遥感云去除

摘要：

通过太空光学卫星收集的光学观测数据大多受到云层或雾霾的干扰，这限制了地球观测的进一步应用；因此，探索一种理想的去云方法至关重要。在本文中，我们提出了一种新颖的概率生成模型，称为基于序列的扩散模型（SeqDMs），用于遥感领域的去云任务。所提出的方法包括多模态扩散模型（MmDMs）和基于序列的训练和推理策略（SeqTIS）。特别是，MmDMs是一种新颖的扩散模型，它重构了去噪扩散概率模型（DDPMs）的逆过程，以整合来自辅助模态（例如，对云层破坏具有鲁棒性的合成孔径雷达）的额外信息，以帮助主要模态（即光学卫星图像）的分布学习。为了考虑跨时间的信息，SeqTIS被设计用来整合任意长度的主模态和辅助模态输入序列的时间信息，而无需重新训练模型。在MmDMs和SeqTIS的帮助下，SeqDMs能够灵活地处理任意长度的输入序列，仅通过一个或两个额外的输入样本就能产生显著的改进，并大大降低了模型重新训练的时间成本。我们在公共现实世界数据集SEN12MS-CR-TS上评估了我们的方法，以进行多模态和多时相的去云任务。我们广泛的实验和消融研究表明，与多种最先进的去云方法相比，该方法在重构样本的质量和处理任意长度序列的灵活性方面具有优越性。

关键词：去云；扩散模型；多模态；多时相；合成孔径雷达（SAR）-光学

1引言

近几十年来，地球观测卫星收集了大量遥感数据，这些数据在各种任务中开始发挥重要作用，包括环境监测[1]、经济发展制图[2]、土地覆盖分类[3]和农业监测[4,5]。然而，遥感图像往往被雾或云遮挡[6]，这阻碍了目标监测任务的数据处理和分析。因此，探索重建被云遮挡数据的方法以进行后续的数据分析和应用是非常有价值且关键的。

一般来说，去云可以被视为一种特殊的修复任务，即使用新的和合适的内容填充被云遮挡的遥感数据的缺失区域。根据用于重建的信息来源，先前的去云方法可以分为两大类：多模态方法和多时相方法[7]。为了扩展信息来源，已经开发了多模态方法[8–14]，通过从合成孔径雷达（SAR）数据或其他对云遮挡更具鲁棒性的模态数据中转换信息来重建被云覆盖的像素[15]。传统的多模态方法[8,9]利用SAR的数字数作为指标来查找修复像素。Eckardt等人[9]引入了最接近特征向量（CFV）的概念，将最接近光谱拟合（CSF）算法[16]与多光谱卫星图像和多频SAR数据的协同应用相结合。随着深度学习的广泛应用和生成模型的快速发展，Gao等人[14]首先通过专门设计的卷积神经网络（CNN）以对象到对象的方式将SAR图像转换为模拟的光学图像，然后通过生成对抗网络（GAN）将模拟的光学图像与SAR图像和云污染的光学图像融合，以重建受损区域。与使用单个时间点观测值的方法不同，多时相方法[17–22]试图通过时间序列的推理进行云污染观测的时间重建，利用其他无云时间点的信息作为参考，基于特定区域云层覆盖范围随时间和季节变化的事实[6]。传统的多时相方法[18–20]使用手工制作的滤波器，如均值和中值滤波器，利用特定区域的大量图像来生成云覆盖部分。例如，Ramoino等人[20]使用在三个月内每隔6-7天拍摄的Sentinel-2图像进行去云处理。在利用深度学习技术的方法中，Sarukkai等人[17]提出了一种新的时空生成器网络（STGAN），以更好地捕获区域内多幅图像之间的相关性，利用多光谱信息（即Sentinel-2的RGB和IR波段）来生成无云图像。然而，这些图像重建方法没有利用多模态信息，并且需要大量在不变景观上拍摄的大多无云的图像，这大大限制了它们的可用性和应用。

同时，去云方面的许多早期工作使用了包含模拟云污染观测的数据集，将一张图像中的云污染像素值复制到另一张清晰的图像中[23]，但这无法精确再现包含自然云发生的卫星图像的统计特征[12]。最近，Ebel等人[7]整理了一个新的现实世界数据集，称为SEN12MS-CR-TS，其中包含了全球分布的多时相和多模态卫星观测数据。他们还提出了一种基于3D CNN的序列到点去云方法（我们称之为Seq2point），以跨时间和不同模态整合信息。然而，该方法缺乏概率解释，并且无法灵活处理任意长度的输入序列。它仅使用基于ResNet[24]的分支和3D CNN结构作为生成器来组合时间跨度内的特征图，并且当输入序列的长度发生变化时，需要大量的时间进行重新训练。

总的来说，现有方法至少存在以下三个主要不足之一：（1）它们没有使用全球分布的现实世界数据集，导致方法的泛化能力下降。（2）它们没有被设计为充分利用多模态和多时相信息来重建受损区域。（3）它们缺乏概率解释以及处理任意长度输入序列的灵活性。

在本文中，我们提出了一种新方法——基于序列的扩散模型（SeqDMs），用于遥感领域的云移除任务，该方法通过跨时间和不同模态整合信息。由于生成对抗网络（GANs）的训练过程存在不稳定性的问题[25]，我们选择具有更好概率解释和更强数据分布捕获能力的去噪扩散概率模型（DDPMs）[26]作为我们的基础模型。特别是，我们提出了一种新颖的多模态扩散模型（MmDMs），该模型重建DDPMs的反向过程，以整合来自辅助模态（例如，对云层遮挡具有鲁棒性的合成孔径雷达（SAR）或其他模态）的额外信息，从而帮助主要模态（即星载光学卫星数据）的分布学习。由于标准的DDPMs训练和推理策略仅处理单个时间点的样本，我们引入了一种改进的训练和推理策略，称为基于序列的训练和推理策略（SeqTIS），以从主要模态和辅助模态的输入序列中跨时间整合信息。值得注意的是，SeqDMs具有处理任意长度输入序列的灵活性，而无需重新训练模型，这显著降低了训练时间成本。我们在全球分布的SEN12MS-CR-TS数据集[7]上进行了充分的实验和消融研究，以评估我们的方法并证明其设计的合理性。我们还与其他最先进的云移除方法进行了比较，以展示所提方法的优越性。

2预备知识：去噪扩散概率模型

我们提出的云移除方法基于去噪扩散概率模型（DDPMs）[26]。首先，我们介绍这种生成模型的定义和特性。DDPMs定义了一个由方差计划{βt ∈ (0, 1)}t=1^T控制的扩散过程的马尔可夫链，该过程在T个扩散时间步内将输入样本x0转换为白高斯噪声xT ∼ N(0,I)。在这里，符号t代表DDPMs扩散过程中的“扩散时间步”。稍后我们将使用符号l来表示序列数据中的样本索引。为了区分模型扩散过程中的“时间步”和序列数据中的“时间步”，我们分别将其描述为“扩散时间步”和“序列时间步”。扩散过程中的每一步由以下方式给出：