DiffCR: A Fast Conditional Diffusion Frameworkfor Cloud Removal from Optical Satellite Images论文翻译_diffcr: a fast conditional diffusion framework for-优快云博客

本文链接：https://blog.youkuaiyun.com/qq_69854365/article/details/140070242

IEEE 2024

论文名称 DiffCR:一种用于光学卫星云图去云的快速条件扩散框架

代码地址 https://github.com/XavierJiezou/DiffCR

论文地址 https://ieeexplore.ieee.org/abstract/document/10436560

摘要

摘要-光学卫星图像是一种重要的数据源；然而，云层覆盖往往影响其质量，阻碍图像的应用和分析。因此，有效地去除卫星光学图像中的云层已成为一个突出的研究方向。虽然最近在云去除方面的进展主要依赖于生成性对抗性网络，这可能会产生次优的图像质量，但扩散模型在各种图像生成任务中表现出了显著的成功，显示了它们在应对这一挑战方面的潜力。本文提出了一种新的框架DiffCR，该框架利用条件引导扩散和深卷积网络来对光学卫星图像进行高性能的云去除。具体地说，我们引入了一种用于条件图像特征提取的解耦编码器，提供了稳健的颜色表示，以确保条件输入和合成输出之间的外观信息非常相似。此外，我们在云去除模型中提出了一种新颖高效的时间和条件融合块，以较低的计算代价准确地模拟条件图像中的外观与目标图像之间的对应关系。在两个常用的基准数据集上的广泛实验评估表明，DiffCR在所有度量上都一致地达到了最先进的性能，参数和计算复杂度分别仅为以前最好方法的5.1%和5.4%。一旦论文接受了这项工作，源代码、预先训练的模型和所有实验结果将在https://github.com/XavierJiezou/DiffCR上公开提供。

索引术语-云去除、扩散模型、光学卫星图像、深度学习、自动编码器。

一.介绍

近年来，随着遥感技术的迅速发展，卫星图像，特别是光学卫星图像在各个领域得到了广泛的应用，包括农业监测[1]、地面目标探测[2]、[3]、土地覆盖分类[4]、[5]。然而，成像过程中的云干扰构成了一个巨大的挑战。根据国际卫星云气候学项目(ISCCP)的数据，全球平均云层覆盖率达到惊人的66%。通过对Terra和Aqua卫星上的中分辨率成像光谱仪(MODIS)12年的观测分析，发现平均67%的地球表面被云层覆盖[6]。厚厚的云层的不透明度阻碍了底层目标信息的获取，大大降低了其实用性和有效性，并严重阻碍了卫星图像的进一步分析和应用。因此，开发一种有效的光学遥感图像去云方法已成为一个基本而紧迫的研究问题，因为一个成功的去云算法将显著提高数据的可用性，并提高依赖于光学卫星图像的下游任务的精度。

随着深度学习技术的发展，产生式对抗网络(GANS)已成为图像处理领域的一个重要研究方向。基于GAN的方法可以学习数据分布并生成高质量的样本，在图像超分辨率[7]-[9]、图像修复[10]和样式转移[11]等任务中找到了成功的应用。在云去除方面，基于GAN的方法[12]-[16]也得到了广泛的应用，产生了令人振奋的结果。具体地说，它们由两个关键部件组成：一个生成器负责从被云污染的图像中生成无云表面图像，另一个鉴别器负责确定生成的图像的真实性。生成器和鉴别器通过迭代训练逐步提高性能，生成更逼真、更清晰的表面图像。

尽管基于GaN的方法在去除云层方面表现出色，但仍存在一些挑战。例如，他们天生就很难训练，可能会受到模式崩溃等问题的影响，导致扭曲或重复生成的图像。此外，云的形态和分布呈现出多样性和复杂性，这对GaN基方法的培训和应用提出了复杂的要求。因此，设计更稳健、更高效的深度生成模式在云去除研究中仍然至关重要。

图1.我们提出的云移除框架DiffCR的总体流程。1)训练：这一阶段包括正向过程(从左到右)和反向过程(从右到左)。前向过程，也称为扩散过程，通过添加高斯噪声来逐渐扰动地面真实Y0，以控制通过中间过渡分布的参数化神经网络pθ的训练。反向过程，也称为去噪过程，将噪声图像yt作为pθ的输入，并迭代地精化yˆ0。此外，将云图x和噪声级t有条件地注入到pθ中，以指导无云图像的生成。2)推理：该阶段将高斯噪声yt、云图x和t作为输入到预先训练好的pθ，迭代重建无云图像yˆ0。

为了在保持图像高保真度的同时实现云的去除，我们建议探索扩散模型在光学卫星图像中的云去除的适用性。基于扩散的方法通过带有附加噪声的扩散过程来构造数据标签。迭代精化过程通过反向去噪来产生更精细的样本。通过这种方式，我们提出的云去除框架DiffCR(见图1)将问题分解为一系列向前向后向扩散步骤来学习合理的无云细节，而不是一次性地对复杂的无云特征进行建模。此外，为了进一步提高真实感和图像质量，我们设计了一种新的条件去噪模型，该模型由三部分组成：1)条件编码器，2)时间编码器，3)去噪自动编码器。条件编码器用于学习条件图像的特征，提供稳健的颜色表示以确保条件输入和合成输出之间的外观信息非常相似。时间编码器将反映噪声水平的时间t转换为隐式时间嵌入。去噪自动编码器从有噪声的无云图像中提取特征，并将其与条件和时间嵌入进行融合，生成高保真的无云图像。然后，我们在条件去噪模型中提出了一种高效、新颖的时间和条件融合块(TCFBlock)，它显式地将噪声图像的空间相关性、多尺度条件嵌入和隐式时间嵌入集成到扩散框架中。通过上述优化和创新，DiffCR只需一步就可以生成高质量的样本，并在3到5步内完成收敛。综上所述，我们工作的贡献可以概括为：

1)我们提出了一种新的快速条件扩散框架DiffCR，用于从光学卫星图像中去除云层。该框架分离了条件信息的处理，只需一个采样步骤即可生成高保真图像。

2)设计了一种新的条件去噪模型，该模型由条件编码器、时间编码器和去噪自动编码器三部分组成。该模型保证了输入图像与合成输出图像在外观信息上具有较高的相似性，能够有效地提高图像的真实感和质量。

3)提出了一种高效、新颖的时间和条件融合块(TCFBlock)作为条件去噪模型的基本单元，它可以显式地集成含噪图像的多尺度特征、多尺度条件嵌入和隐式时间嵌入。

我们通过在两个常用的基准数据集上将DiffCR与各种竞争的GAN、回归和基于扩散的方法进行比较，证明了DiffCR的经验有效性。此外，我们进行了广泛的烧蚀实验(见表V)，以调查不同的结构设计对去噪自动编码器的影响。我们相信，我们的工作将有助于高效的实时云去除研究，即使在计算资源有限的情况下也能实现高保真度和鲁棒性，并为条件扩散模型在其他计算机视觉领域和生成性人工智能(如文本到图像和图像到图像合成)中的应用提供有价值的见解。

二、相关工作

A.云的去除

云的去除是一个重要且具有挑战性的研究领域。由于天气条件的原因，云层往往会阻碍光学卫星成像，使一些地理特征变得不可见，阻碍遥感图像在下游任务中的应用。去云的目的是恢复被遮挡的地理信息，充分释放遥感影像的利用潜力。

根据输入数据的不同，云的去除方法可以分为单时相方法和多时相方法。由于技术限制，早期的基于光学卫星图像的云去除方法[12]、[17]-[21]主要侧重于单时相方法，目的是从特定地理位置的单一被云污染的图像中消除云并恢复地物。然而，当云覆盖范围很广时，从单个帧获得无云图像变得非常困难，因为没有足够的信息来促进图像重建。

随着遥感技术的进步，卫星可以在更短的间隔内捕获相同位置的图像。这一进步使我们能够轻松获取同时捕获的多幅卫星图像，为设计有效的云去除方法提供充足的数据支持。一般来说，云的位置随着时间的推移而变化，在同一地理位置被云遮挡的区域在不同时刻并不完全重叠。利用光谱和时间信息，现有的多时相云去除方法[14]、[15]、[22]-[24]融合多个云图以生成细节丰富的无云图像。

现有的云去除方法主要依赖于GAN，通过在训练期间引入对抗性损失来增强图像重建。MCGAN[12]将从RGB图像到多光谱图像的CGAN扩展到云去除。Spa-GaN[19]在Gans中引入了空间注意机制，以改进云区域的信息恢复，从而产生更高质量的无云图像。AE[22]使用了在多时相遥感数据集上训练的卷积自动编码器来去除云层。STNet[23]集成了云检测技术，融合了来自多个云图的时空特征，用于云的去除。STGAN[14]将云去除视为一个有条件的图像合成问题，提出了一种时空生成网络。CTGan[15]推出了一种基于变压器的GaN，用于去除云层。PMAA[24]使用渐进式自动编码器实现了高效的云去除。此外，还有一些作品[16]、[25]、[26]利用雷达图像来协助云的去除，以及数量有限的使用扩散模型的作品[27]、[28]。然而，由于GAN框架和对抗性学习机制的限制，现有的基于GAN的方法难以获得令人满意的图像保真度。此外，尽管一些基于扩散的方法表现良好，但它们往往效率很低，通常需要数千个采样步骤。因此，这项工作探索了一种使用条件扩散模型的新的快速云去除框架，实现了无需花哨的卓越保真度。

B.扩散模型

图像生成一直是计算机视觉领域的一个热门研究方向，各种图像生成范式[29]-[31]被提出并应用于这一任务。近年来，无数基于GaN的模型主导了最先进的模型。然而，这种范式已经被扩散模型的出现所颠覆。

受热力学[32]的启发，扩散模型通过迭代逐渐引入噪声，目的是学习噪声引起的信息衰减，并基于学习的模式生成图像。扩散模型在高分辨率图像生成方面取得了卓越的性能[33]，在图像合成质量和多样性方面超过了Gans[34]。扩散模型的成功引起了研究人员的极大关注，导致了世代质量[35]、[36]和采样速度[37]-[39]的进一步改进。

最近，条件扩散模型[34]、[40]-[52]已被开发并应用于各种下游任务。已经提出了许多基于扩散的图像到图像转换的方法[41]、[49]-[52]，目标是诸如彩色化、去噪、修复和超分辨率之类的低级视觉任务。跨模式的作品也展示了扩散模型在文本到图像生成中的显著性能[44]-[48]。此外，扩散模型在语义图像合成[42]、图像分割[53]、视频生成[54]和姿势估计[43]等具体任务中显示出显著的效果。在这些工作的启发下，我们开创了利用扩散模型来解决云去除任务的探索，提出了各种改进策略来解决云去除的复杂性，实现高保真的无云图像。

三、方法

A.问题定义

云去除的目的是从多云的光学卫星图像中生成无云图像。我们将云图定义为x∈RN×C×H×W，其中C、H和W分别表示卫星图像的通道数、高度和宽度，N表示图像数。具体来说，当N=1，表示只输入一幅云图时，我们称之为单次去云；当N&gt；1时，输入的云图是由在不同时间但在同一地理位置采集的多幅云图组成的，我们称之为多时相去云。对应于每个区域的无云图像被表示为y∈R1×C×H×W。

B.总体框架

在本文中，我们提出了一个新的框架，称为DiffCR，结合了条件扩散模型[33]和深度卷积网络来去除云。如图1所示，它由两部分组成：从左到右的噪声注入过程和从右到左的去噪过程。以多云图像x∈RN×C×H×W为条件，在地面真实图像Y0上加入一定噪声水平t的退化图像y∈r1×C×H×W，我们的框架可以迭代地细化并生成细节细腻的高质量无云图像。