Dehaze-AGGAN: 使用增强的注意力引导生成对抗网络的非配对遥感图像去雾2022

摘要：遥感图像去雾在军事和民用领域都具有重要的科学意义和应用价值。在本文中，我们提出了一种增强的注意力引导生成对抗网络(GAN)网络，Dehaze-AGGAN，来解决遥感图像的去雾问题，该网络不需要配对训练数据。由于雾霾图像对遥感目标检测的影响较大，因此对遥感图像进行去雾处理显得尤为重要。典型的图像去雾方法需要以配对的方式获得模糊输入图像及其地面真值，而在遥感领域通常没有配对训练数据。为了解决这个问题，我们提出了Dehaze-AGGAN网络，并通过向模型中输入未配对的干净和模糊图像来训练它。我们提出了一种新的总变差损失与周期一致性损失相结合的方法来消除波噪声，提高测试数据集的目标边缘质量。此外，我们还建立了一个新的雾霾数据集，称为遥感雾霾数据集(RSD)，该数据集包含了7000幅模拟和真实的雾霾图像，其中包括3500幅军舰图像和3500幅民用船舶图像，并在数据集上对我们的方法进行了评估。我们对RSD进行了实验。大量的实验表明，所提出的Dehaze-AGGAN在不同的环境下是有效的，具有很强的鲁棒性和适应性。

背景：对于单幅图像去雾，Cycle-Dehaze[28]、CDNet[29]、DD- CycleGAN[30]均采用了CycleGAN框架，该框架可用于非配对训练。然而，在远程感知场景下，CycleGAN[21] 在去雾图像中经常产生噪声，SSIM和PSNR受到的影响较小。在图像去雾区，CycleGAN[21]无法聚焦到输入信息的雾区，造成噪声污染和特征损失。4)注意引导图像到图像的翻译:为了解决这个问题，一些方法增加注意模块来增强图像去雾。这些方法大多集中在遮罩上，以从输入图像中获得关键特征。通过mask，模型可以得到个需要集中的关键区域的信息。例如，Liang等[31]使用对象掩码注释来训练模型。Chen等[32]使用额外的网络得到个注意mask。Tang等[25]使用CycleGAN结构138和注意机制来完成图像翻译任务。通过我们的实验，attentiongan[25]在非配对图像到图像的翻译任务中表现出色。然而，在单幅图像去雾任务中，attentiongan[25] 不能收敛。为了解决这个问题，我们提出了Dehaze- AGGAN，它不仅由生成器生成注意mask，而且还估计了模糊图像和去模糊图像之间的映射。我们还结合了周期一致性和总变损失，以避免来自海洋和目标边缘的噪声。

在本文中，我们总结了除雾的三个问题(少配对数据问题、噪声污染问题和特征聚焦问题)，并提出了新的解决方法。我们的工作贡献总结如下

1）为了克服特征聚焦问题，我们提出了增强的注意力引导gan用于遥感图像去雾任务，并在我们的遥感图像去雾数据集(RSD)上进行了测试。我们使用CycleGAN 架构来解决图像翻译的不成对问题。我们的模型包含两个增强的注意力引导生成器和两个增强的注意力引导判别器，用于聚焦图像中信息最丰富的位置。

2）针对噪声污染问题，我们提出了一种新的损失函数，将周期一致性和总变差损失相结合，以抑制海浪引起的噪声，提高遥感图像中目标的边缘质量。总变差损失常用于信号处理和信号去噪。我们的创新是结合周期一致性和总变差损失，使海浪噪声能够去噪。

3）我们提出了一个RSD来解决配对较少的数据问题。RSD主要针对军用和民用船舶的单幅消雾和船型检测。该数据集包括7000带注释的模拟和真实船舶朦胧图像，其中包含3500幅有雾和无雾的配对图像。

Enhanced Attention-Guided Generation

Dehaze-AGGAN是对Attention-  GAN[25]的改进，用于对非配对图像进行去雾处理。如图2所示，Dehaze-AGGAN架构由两个发生器G和F以及两个鉴别器Dx和 Dy组成。我们增强了生成器的结构，使这个结构能够进行图像消雾。为了清除/添加雾霾和去除噪声，我们的方法结合了周期一致性和总变差损失，得到了更好的性能

与CycleGAN[21]一样，我们在有雾图像域X和无雾图像域Y之间使用了两个映射，即X→ [Ae Y,Ce Y]→G(X)和Y→[Ae X,Ce X]→F(Y)。Ae x和Ae y是注意掩码。cex和cey是内容掩码。

增强的注意引导生成器生成n个注意力个masks{Ae y} ne =1， {Ae x} ne =1和n个内容masks{Ce y} ne =1， {Ce x} ne =1。注意掩码Ae x和Ae y代表内容掩码Ce x和Ce y中每个像素的比例。之后，我们将注意掩码Ae x和Ae y与内容掩码Ce x和Ce y 融合，得到最终图像G(x)和F(G(x))。G(x)的计算方法如下

如图2所示，生成器的输入图像为x∈ RH×W×3。输出是注意力掩码(Ae x和Ae y)和内容掩码(Ce x和Ce y)。其中，注意掩码为Ae x, Ae y∈{0，…， 1}H×W，内容掩码为Ce x,Ce y∈ RH×W×1。

与AttentionGAN[25]不同的是，我们提出的模型更加关注注意掩码和内容掩码，从而在遥感去雾中表现更好。我们直接使用输入图像生成注意掩码和内容掩码而不进行编码，这大大减少了计算量。因此，我们可以在没有真实图像信息的情况下直接融注意掩码和内容掩码。

Total Variation Losses

全变分正则化在信号处理中得到了广泛的应用，在噪声污染去除中有着重要的应用。原理是，这种噪声消除技术优于简单的技术，如线性平滑或中值滤波，它们可以减少噪声并或多或少地去除边缘。相比之下，即使在低信噪比(SNR)下，总变差去噪在保持边缘的同时平滑平坦区域的噪声是非常有效的。在图像处理中，总变差损失可以使图像平滑。因此，我们利用总变差损失来去除遥感图像中海浪引起的噪声，提高目标的边缘质量，将目标表示为

Adversarial Loss and Cycle-Consistency Loss 

Full Objective 

图2所示。拟议的dehaze - aggan框架。我们的模型包括两个生成器G和F。我们在图中给出了两个映射，即x→G(x)→F(G(x))≈x和y→F(y)→G(F(y))≈y.注意引导生成器可以生成n−1个不同的内容掩模和注意掩模，这有助于我们对去雾图像进行估计。我们将内容掩码和注意掩码进行融合，合成最终效果。 

结论：在本文中，我们提出了一种称为Dehaze-AGGAN的非配对遥感消雾网络，该网络从发生器和鉴别器中生成掩模，并融合输出图像。我们的贡献列在下面。

1)在数据集上的实验表明，与其他最先进的方法相比，我们的Dehaze-AGGAN取得了显着的性能。广泛的测试表明，我们的Dehaze-AGGAN是有效的，并且在不同的环境中具有很强的鲁棒性和适应性。

2)我们将周期一致性损失与总变差损失结合起来，提高了输出图像的质量。结果表明，我们的模型生成的图像质量更好。我们的方法不仅比CycleGAN[21]和AttentionGAN[25]架构获得更好的PSNR和SSIM，而且也适用于大多数实时遥感任务。

3)我们的RSD数据集是遥感除雾区域的第一个数据集。该数据集显示出未来研究的巨大潜力。

4)虽然我们的方法在未配对的单图像去雾模型中表现出最好的去雾效果，但与其他配对的单图像去雾模型相比，我们的方法仍有提高的空间。我们仍然相信我们的方法在收集数据上的便利性和对更多任务的适应性可以弥补这些性能差距，我们希望在未来取得更好的结果

注释：

（1）

在图像去雾中，"attention masks"（注意力掩码）通常是指一种用于指示图像中哪些区域需要特殊处理的技术。图像去雾是一种图像增强技术，用于消除图像中由于大气散射而引起的雾霾效果，以使图像更加清晰和真实。

注意力掩码可以用于引导去雾算法的操作，以便只在特定区域执行去雾操作，而不影响其他区域。这在某些情况下可能很有用，例如当图像中的某些区域需要保留雾霾效果（例如远处的景观）或者需要保持一定的艺术风格时。

在图像去雾中使用注意力掩码的一个示例是，通过在图像中的目标物体周围创建一个掩码，来确保只有目标物体周围的区域才会进行去雾处理，而背景区域保留雾霾效果。这可以通过以下步骤实现：

1. 检测图像中的目标物体，例如使用目标检测算法。
2. 在目标物体周围创建一个掩码，将目标物体标记为需要进行去雾处理的区域，而将背景标记为不需要处理的区域。
3. 在进行去雾算法时，将注意力掩码应用于图像，只对掩码中标记为需要处理的区域进行去雾操作。

这样可以确保只有目标物体周围的区域受到去雾处理，而其他区域保留原始的雾霾效果。

需要注意的是，注意力掩码在图像去雾中可能会根据具体情况有所不同，取决于所使用的算法和目标。不同的应用场景可能需要不同的掩码设计和处理策略。

（2）

"Content masks"（内容掩码）是在计算机视觉和图像处理领域中使用的一种技术，用于指示图像中哪些区域包含感兴趣的内容。这些掩码通常用于图像分割、图像编辑和图像增强等任务中，以指导算法对图像的特定区域进行处理或操作。

内容掩码可以是二进制图像，其中像素的值为0或1，表示图像中的某些区域是否属于感兴趣的内容。在图像分割任务中，内容掩码通常用于标记不同的物体、物体部分或区域，从而使算法能够将图像中的不同区域分割开来。在图像编辑和增强中，内容掩码可以指示需要进行特定操作的区域，例如调整亮度、对比度、颜色等。

例如，如果你想在一张图像中将特定物体的颜色从红色变为蓝色，你可以使用一个内容掩码来标记出这个物体的位置。然后，在对图像进行颜色转换时，只有标记为该物体的内容掩码中的像素会受到转换影响，而其他区域保持不变。

内容掩码的创建可以通过多种方式实现，包括手动绘制、使用图像分割算法自动生成、使用目标检测技术标记出特定物体的位置等。在很多情况下，内容掩码提供了一种有效的方式来指导图像处理操作，使操作只影响图像中特定区域，从而实现更精细的控制和编辑。