Denoising Diffusion Probabilistic Feature-Based Network forCloud Removal in Sentinel-2 Imagery论文翻译

mdpi 2023

论文名称 基于

络的Sentinel-2图像去云去噪

论文地址 https://www.mdpi.com/2072-4292/15/9/2217

论文代码 

摘要 

        在遥感领域，云污染是严重影响光学卫星图像质量的常见问题。随着深度学习技术的快速发展，云污染问题有望得到解决。在本文中，我们提出了一种新的去噪扩散概率模型-云去除网络(DDPM-CR)，它可以有效地去除光学图像场景中的薄云和厚云。我们的网络利用去噪扩散概率模型(DDPM)体系结构来整合云层光学图像和辅助SAR图像作为输入来提取DDPM特征，为缺失信息检索提供重要信息。此外，我们还提出了一种采用DDPM特征的云移除头，该云移除头具有多尺度的注意力机制来去除云。为了获得更好的网络性能，我们提出了一种面向云的损失，在训练过程中既考虑了高、低频图像信息，又考虑了云区域。烧蚀和对比实验表明，在不同的云环境下，DDPM-CR网络的性能优于其他方法，获得了更好的视觉效果和精度指标(MAE=0.0229，RMSE=0.0268，PSNR=31.7712，SSIM=0.9033)。这些结果表明，DDPM-CR网络是一种很有前途的解决方案，无论是在薄云覆盖区域还是在厚云覆盖区域，特别是在使用辅助信息如SAR数据的情况下。

关键词：云去除；合成孔径雷达光学图像；产生式模型；深度学习

1.介绍

        光学遥感图像具有高空间分辨率和易解译的特点，是植被监测[1]、土地利用制图[2]、生态变化监测[3]等领域的重要数据源。然而，云和云影覆盖了55%的地球表面，影响了图像质量，阻碍了地物光谱信息的记录[4]。光学遥感图像中缺失光谱信息的提取对于保持数据的完整性和确保后续应用的成功至关重要。

        近几十年来，已经提出了几种光学图像中的云去除方法，这些方法可以分为基于空间的方法、多光谱方法和多时间方法[5]。基于空间的方法通过使用图像数据的其他部分来恢复丢失的光谱信息，假设云覆盖区域和无云区域具有相同的统计分布。已发展出用于去除光学图像中的云的插值法[6，7]、传播扩散法[8]、基于变化法[9]和基于样本的方法[10]。基于空间的方法不依赖于额外的信息，而是依赖于同一图像的无云部分。虽然用一小部分被云污染的图像可以获得更好的效果，但是很大比例的厚云覆盖可能会阻碍这种方法。因此，辅助数据，如合成孔径雷达图像[11]，已经被用来解决这个问题。多光谱方法使用具有高云穿透率的图像波段作为补充，通过多项式拟合模型[12，13]和物理模型[14，15]来去除云。这些方法可以恢复受雾霾和薄云影响的光谱信息；然而，恢复厚云条件下丢失的光谱信息仍然具有挑战性。多时相方法使用其他时期的无云图像来恢复丢失的光谱信息，通常使用替换方法[16，17]、过滤方法[18]和基于学习的方法[19]。然而，假设无云图像在不同阶段之间没有显著变化，多时相方法增加了对图像获取的要求。

        深度学习技术的最新进展，特别是在图像修复方面的进展，导致了有助于消除云和云影的端到端网络的发展。这些网络可以使用单一临时光学图像和互补的SAR图像作为输入数据[20-23]。此外，可以应用类似于自然图像修复的云去除工作流，并使用由云检测算法提取的云掩模来帮助训练DNN模型。各种风格的DNN模型已被用于云去除。Meraner等人。[24]提出了一种基于残差神经网络的多光谱图像去云方法。基于完全卷积网络，纪万昌等人提出了一种基于完全卷积网络的方法。[25]设计了一种级联架构，在检测云和云阴影的同时，还可以恢复受污染的地表信息。为了恢复完整的归一化植被指数(NDVI)序列数据，Jing等人。[26]集成了注意力机制和具有SAR数据和GLCM特征的递归神经网络(RNN)，以从时间和像素相邻图像域检索缺失信息。此外，条件生成性对抗网络(CGAN)和循环GAN已被用来消除各种分布和厚度的云[27-30]。然而，由于Gans良好的生成能力，一些工作试图找到解决方案来构建直接从SAR到光学的图像转换[31，32]。尽管如此，成像原理上的巨大差距仍然是一个重大挑战[33]，SAR多光谱图像融合仍然是输入数据的最佳选择。基于GaN的网络虽然可以达到很好的去云效果，但训练难度大，模型崩溃的风险是一个棘手的问题。除了GaN结构外，扩散概率模型最近也引起了人们的极大关注。与基于GaN的模型不同，扩散模型服从马尔可夫过程，马尔可夫过程是有效的训练过程，并已被用于许多计算机视觉应用，如超分辨率[34]、图像去模糊[35]和图像修复[36]。这些工作对构建有效的云移除体系结构具有指导意义。在上述研究的基础上，本文提出了一种DDPM-CR网络，该网络利用去噪扩散概率模型(DDPM)作为云去除任务的特征提取工具。DDPM的深层特征为网络提供了关键信息，以增强其表征能力。此外，通过将注意力机制和所提出的面向云的丢失函数相结合，我们的网络可以有效地恢复由于云覆盖而丢失的频谱和详细信息。本文的主要贡献如下：        

        1.基于多层深度特征的DDPM-CR网络能够有效地恢复缺失信息，允许云污染图像的重复使用。

        2.面向云的损耗函数，综合了各种损耗函数的优点，提高了网络训练的性能和效率。

        本文的结构如下。第二节介绍了拟议的DDPM-CR网络的结构，云导向损失的定义，数据处理的介绍，以及这项工作的训练数据集和训练细节。第三节给出了烧蚀分析和与基线方法的对比实验。第四节对所获得的结果进行了讨论。最后，第五节给出了本工作的结论。

2.用于云移除的DDPM-CR架构

2.1DDPM云移除功能

        DDPM-CR方法由两个主要组件组成：DDPM网络和建议的云移除头部。DDPM网络用于在多个层次上提取深层特征，然后将这些特征作为输入馈送到云去除头部。通过利用丰富的DDPM功能，云去除头能够检索云覆盖的图像中缺失的信息。DDPM类似于GaN和VAE模型，是一种生成性模型[37]，训练有素的模型可以生成逼真的遥感图像。鉴于DDPM在各种计算机视觉应用中的成功，如简介中所示，它具有有效地应用于云移除任务的潜力。DDPM网络包括两个过程，即正向过程和反向过程，如图1所示。Remote Senss.2023，15,22173第27页2.用于云移除的DDPM-CR体系结构2.1。DDPM云移除功能DDPM-CR方法由两个主要组件组成：DDPM网络和建议的云移除头部。DDPM网络用于在多个层次上提取深层特征，然后将这些特征作为输入馈送到云去除头部。通过利用丰富的DDPM功能，云去除头能够检索云覆盖的图像中缺失的信息。DDPM类似于GaN和VAE模型，是一种生成性模型[37]，训练有素的模型可以生成逼真的遥感图像。鉴于DDPM在各种计算机视觉应用中的成功，如简介中所示，它具有有效地应用于云移除任务的潜力。DDPM网络包括两个过程，即正向过程和反向过程，如图1所示。

图1.DDPM示意图上行描述了正向扩散过程；下行表示了反向推理过程。在反向推理过程中，绿色色条表示输入/输出层，蓝色色条表示ResNet块，粉色条表示关注层，这将在下文中详细描述

        DDPM前向过程涉及将高斯噪声添加到遥感图像的马尔可夫过程。在云移除任务的上下文中，受云污染的映像充当X0并提供初始映像分发。为了确保从受云污染的图像中提取足够的特征以从受云污染的图像中检索信息，DDPM网络使用了五个输入波段，包括三个多光谱波段(红、绿、蓝)和两个合成孔径雷达波段(VV)，并将图1中描述的重新参数化技术描述为1，基于给定的超参数，可以在任意时间t∈(0，)获得添加噪声的XT。这里，βt控制噪声方差和−βt=∏ti=1βi，它们分布在0-1的区间上。在T次迭代之后，如2所示，产生服从各向同性高斯分布的噪声添加结果。反向推理过程也是一个马尔可夫链，其目的是在T次迭代之后从添加噪声的结果中重建原始图像，如上图的3和4所示。该去噪过程需要一个深度网络fθ来对反向推理过程中的参数进行建模。参数µθ(Xt，t)和σ2θ(Xt，t)在3中是通过网络训练获得的均值和方差。为此，基于U-Net的[38]网络被修改用于反向推理，如图2所示。基于给定的超参数，遥测2023，15,22174。这里，𝛽控制噪声方差和𝛽=∏𝛽，它们分布在0-1的区间上。在T次迭代之后，如图2所示，产生服从各向同性高斯分布的噪声添加结果。反向推理过程也是一个马尔可夫链，其目的是在T次迭代之后从添加噪声的结果中重建原始图像，如上图的3和4所示。该去噪过程需要一个深度网络𝑓来对反向推理过程中的参数进行建模。3中的参数𝜇(𝑥，𝑡)和𝜎(𝑥，𝑡)是通过网络训练获得的均值和方差。为此，基于U-Net的[38]网络被修改为反向推理，如图2所示。

图2.去噪模型𝑓的体系结构该模型在U-Net结构的基础上进行了改进，并用ResNet块和关注层代替了原有的Conv块，增强了推理图像的细节信息。

        逆向推理的主要架构是基于广泛使用的U-Net网络，如上图所示。为了满足从噪声中恢复图像的要求，并为后续的云去除过程提供精确的深度特征，主要修改部分是ResNet块。噪声仿射层被设计成线性地向图像特征添加噪声。此外，还使用了SWISH层，因为它在更深层的体系结构中表现优于RELU层[39]。为了将网络集中在不同维度和不同显著图像区域的深层特征上，引入了空间和通道注意机制的高效和健壮性，而不会明显增加计算成本[