Uncertainty-Based Thin Cloud Removal Networkvia Conditional Variational AutoencodersHaidong Ding论文翻译

accv 2022

论文名称: 基于不确定性的条件变分自编码器薄云去除网络

论文地址 

代码地址

摘要：现有的薄云去除方法将这一图像修复任务视为一个点估计问题，并通过确定性流程生成单一的无云图像。本文提出了一种基于条件变分自编码器（CVAE）的新型薄云去除网络，能够为每个输入的云图像生成多种合理的无云图像。我们通过概率图模型分析图像降解过程，并以编码器-解码器的方式设计网络。由于从潜在空间的采样具有多样性，该方法可以避免单一估计不准确所带来的缺陷。通过不确定性分析，我们可以基于这些多重预测生成更为准确的清晰图像。此外，我们从真实场景中创建了一个包含云图像和无云图像对的新基准数据集，克服了因训练于合成数据集而导致的泛化性能差的问题。定量和定性实验表明，所提出的方法在真实云图像上显著优于当前最先进的方法。源代码和数据集可在 https://github.com/haidong-Ding/Cloud-Removal 获取。

1 引言

遥感图像常常受到薄云引起的吸收和散射效应的影响，导致图像质量下降。这些低质量图像限制了它们在后续高级计算机视觉任务（例如目标检测【1,2,3】和分割【4,5,6】）中的应用。因此，开发一种有效的单一遥感图像去云方法是非常重要的。

现有的方法大致可以分为两类：基于先验的方法和数据驱动的方法。基于先验的去云模型【7,8,9】主要依赖于大气散射模型，并在图像统计数据上施加各种物理假设。这些基于先验的方法解释性更强，但当统计先验在真实图像中不成立时，性能表现欠佳。

为缓解这些限制，数据驱动方法采用深度学习方法在监督学习模式下训练网络。若干方法【10,11,12】直接学习如何以端到端的方式从云图像生成清晰图像。这类算法基于大量数据进行学习，能够产生相当不错的结果。然而，端到端训练方式通常将去云视为一个黑箱问题，使其解释性较差。为避免这一问题，其他方法【13,14,15】结合成像模型与卷积神经网络（CNN），主要集中在构建神经网络以替代传统方法中的部分物理模型。

尽管许多优秀的工作展示了出色的成果，但在薄云去除任务中仍然存在许多困难和误解。因此，有必要在更广泛的背景下研究这一问题，其中有两个关键点值得关注：

1）合成数据集的作用：在真实场景中很难获得有薄云和无薄云的图像对，因此大多数算法【13,16,17】是在合成数据集上训练的。合成图像与真实图像之间的差异使得网络在优化过程中学习了数据合成的规律，而不是图像降解的本质。此外，合成数据集是基于图像降解的物理模型构建的，因此在设计算法时是否依赖于该物理模型值得考虑。因此，这类方法在合成数据上可能表现出色，但在真实场景中表现欠佳。这表明使用合成数据集在一定程度上抑制了模型的泛化性能。

2）解决方案的多样性：单一云图像丢失了一些场景辐射的关键信息，从中恢复完全清晰的图像相当于用极少的信息恢复整个场景结构，使得这个问题本质上是一个高度病态的问题。因此，这个低级计算机视觉问题本质上是不确定的。仅使用退化图像而无其他辅助信息，无法获得清晰图像中每个像素的精确值。据我们所知，现有方法均未考虑这一点。它们都建立了从云图像到无云图像的一对一映射。因此，考虑不确定性在提升去云算法性能方面具有很大的潜力。

为了解决上述挑战，我们提出了一种通过CVAE实现遥感图像薄云去除的概率模型。基于上述不确定性分析，我们从多解的角度来解决这一问题。每次输出的结果都是可能解决方案的一个样本。我们的方法并不依赖于显式的先验模型，以避免对图像降解机制理解不足的问题。同时，我们不使用合成数据集，以便去云的底层原理可以直接从真实的云图像中学习。多样化的输出最终可以增强所提出的薄云去除网络的泛化能力。

我们的贡献可以总结如下：

• 针对薄云去除的不确定性问题，我们提出了一种基于CVAE的遥感图像去云概率模型，从概率角度解决这一多解问题。该网络输出多个可解释的结果，符合问题的无限解特性。
• 我们提出了一个基于视觉转换器（ViT）的