DEHAZE-GLCGAN: UNPAIRED SINGLE IMAGE DEHAZING VIAADVERSARIAL TRAINING通过对抗性训练对单幅图像进行去雾2020

摘要：单幅图像去雾是一个具有挑战性的问题，而且远未解决。目前的大多数解决方案需要成对的图像数据集，包括朦胧图像和相应的无雾真地图像。然而，在现实中，照明条件和其他因素可以产生一系列无雾图像，这些图像可以作为朦胧图像的地真值，而单个地真值图像无法捕获该范围。这限制了配对图像数据集在实际应用中的可扩展性和实用性。在本文中，我们的重点是非配对的单幅图像去雾，我们不依赖于地面真实图像或物理散射模型。我们将图像去雾问题简化为图像到图像的平移问题，并提出了一种去雾全局-局部循环一致生成对抗网络(Dehaze-GLCGAN)。Dehaze-GLCGAN的生成器网络结合了带有残差块的编码器-解码器架构，可以更好地恢复无霾场景。

我们还采用了一个全局-局部鉴别器结构来处理空间变化的雾霾。通过烧蚀研究，我们证明了不同因素对网络性能的影响。我们在三个基准数据集上的广泛实验表明，我们的网络在PSNR和SSIM方面优于以前的工作，而与其他方法相比，我们的网络在更少的数据上进行训练。

背景：

非配对图像去雾不依赖于模糊图像的ground truth，这意味着在训练数据集中，模糊图像和无模糊图像之间没有一对一的映射。因此，它更具可扩展性和实用性。本文主要研究非配对图像的去雾问题，提出了一种从具有空间变化雾霾条件的模糊图像中去雾的模型。

单幅图像去雾方法可以分为两大类:基于先验的[2,3,8,27,37]和基于学习的[6,31,35,40,42]。基于先验的模型通过估计物理模型来解决雾霾去除问题，即

透射图和大气光参数。基于学习的方法主要使用基于cnn或基于gan的模型来恢复无雾/干净的图像。这些模型利用大量的训练数据来学习一个将模糊图像映射到干净图像的模型。

在本文中，我们将非配对图像去雾视为图像到图像的平移问题。我们提出了一种具有新颖生成器的新颖循环一致生成对抗网络，该网络在没有对监督的情况下运行，并受益于(i)全局-局部鉴别器架构来处理空间变化的雾霾(ii)定制循环感知损失以生成更逼真和自然的图像。通过实证分析，我们表明，与其他方法相比，所提出的网络可以有效地去除雾霾，而训练的数据量更少。

图1显示了我们的网络与当前最先进方法的对比结果。我们可以看到，与以前的工作相比，所提出的方法(图3d)更有效地去除雾霾，生成更逼真的干净图像，同时与以前的工作相比，在更小的训练数据集上进行训练。

综上所述，本文提出了以下贡献:

•我们提出了一种新的循环一致生成对抗网络，称为Dehaze-GLCGAN，用于非配对图像去雾。Dehaze-GLCGAN不像以前的许多方法那样依赖于物理散射模型，而是采用图像到图像的平移方法进行非配对图像去雾[9,43]。

•我们提出了一种新的消雾发生器，它结合了编码器解码器结构和嵌入的残差块，以更好地保留图像的细节。

•我们利用颜色损失和感知损失来生成更赏心悦目的图像。

•采用全局-局部鉴别器结构处理空间变化的雾霾，生成更清晰的图像。

•通过实证分析，我们表明我们的网络在PSNR和SSIM方面优于之前的工作，并且与之前的工作相比，在更少的数据上进行训练。

gan已经成为图像生成、处理、恢复和重建最成功的方法之一。gan已被用于超分辨率图像[17]，从图像中去除运动模糊[16]，去除噪声[7]，仅举几个应用。gan也被用于图像去雾[9,40]。Yang等[40]提出了无配对监督的解纠缠脱雾网络。他们提出的GAN网络由三个生成器组成:一个生成无雾图像的生成器，一个生成大气光的生成器，以及第三个生成传输图的生成器。

循环一致性GAN (CycleGAN)[43]方法是针对非配对图像到图像的翻译任务提出的，在过去几年中得到了极大的关注。Engin等[9]利用CycleGAN与感知损失一起进行图像去雾，生成视觉上更逼真的去雾图像。

网络构建：

图2a展示了拟议网络的概述，图2b描述了生成器和鉴别器的体系结构。图2b的右下部分更详细地显示了网络中使用的残差块的结构。

该网络旨在以循环一致的方式将图像从A域(即朦胧)转换到B域(即干净/无雾)。Dehaze-GLCGAN的组成部分包括发生器A (GA)、发生器B (GB)、全局鉴别器A (DGlobal A)、全局鉴别器B (DGlobal B)、局部鉴别器A (DLocal A)和局部鉴别器B (DLocal B)。

图2a演示了生成器和鉴别器是如何相互作用的。遗传算法将图像从A域(朦胧)转换到B域(无雾)。全局判别器B (DGlobal B)对GA生成的无雾图像进行真假分类;

基于整个图像。局部鉴别器B (DLocal B)基于5个随机裁剪的图像块，大小为64 × 64像素，对GA生成的无雾图像进行分类(灵感来自[14])。

类似地，GB将图像从B域(无雾)转换到A域(朦胧)。DGlobal A和DLocal A分别根据GB生成的模糊图像的全图和5个随机裁剪的patch对模糊图像的真假进行分类。

GA和GB使用相同的网络架构(图2)。所有鉴别器共享相同的网络架构，但在不同的尺度上运行。通过消融研究表明，利用全局-局部鉴别器可以有效地提高网络性能。

生成器：

图2b给出了Dehaze-GLCGAN的架构。生成器A (GA)的架构如图所示。注意，GB具有相同的体系结构。为了在没有配对监督的情况下以循环一致的方式生成无雾图像，我们需要一个生成器网络，它可以在去除雾的同时保留图像的纹理、结构和细节。为此，我们设计了一个包含三个模块的网络:编码器、特征转换和解码器。

编码器模块从卷积层开始，然后是实例规范化和Relu非线性，然后是两个下采样块。我们的下一个模块，特征转换，使用6个残差块提取更复杂和更深的特征，同时去除阴霾。深入研究网络的主要好处是，它能够表示非常复杂的函数，并在许多不同的抽象层次上学习特征。

第三个模块是解码器，由两个上采样块组成，它们是反卷积层，其次是实例规范化和Relu。解码器的反卷积层用于恢复图像的结构细节，并将特征映射转换为无雾的RGB图像。通过反卷积层，也称为转置层，进行上采样操作，获得空间大小为之前对应层的两倍、通道数为一半的中间特征映射。

鉴别器：

图2b右侧为DGlobal B和DLocal B。请注意，DGlobal A和DLocal A的架构分别与DGlobal B和DLocal B相同。我们有两种类型的鉴别器，全局的和局部的，每一种都执行一个特定的操作来分类真实和虚假的图像。最初，我们的模型只包含全局判别器。然而，我们观察到，对于空间变化的雾霾图像，即在图像中存在雾霾密度变化的情况下，全局鉴别器往往会失效，因此需要对图像的不同部分进行不同的增强。为了适当地增强每个局部区域，除了提高全局的雾霾去除效果外，我们采用了一种受[14]启发的全局-局部鉴别器方案，以循环一致的方式，两者都使用PatchGAN鉴别器。

PatchGAN鉴别器将图像中的单个(N x N)块分类为真实和虚假，而不是将整个图像分类为真实和虚假。

PatchGAN施加了更多的限制，这有助于清晰的高频细节。此外，与对整个图像进行分类相比，PatchGAN的参数数量更少，因此执行速度更快[12]。研究表明，70 × 70个补丁效果最好[12]，因此我们在网络中采用相同的补丁大小。

对抗损失：

这里我们采用最小二乘GAN (LSGAN)[25]来计算对抗损失。已经证明，LSGAN能够生成比常规gan(也称为GANs)更高质量的图像。香草GANs)[25]。此外，它在学习过程中更加稳定。方程2和3分别显示了我们如何计算全局鉴别器和全局生成器的对抗损失。

其中D为鉴别器，xr和xf分别从实分布和伪分布中采样。

我们引入了局部鉴别器来增强模糊图像的小区域。方程4、5描述了相应的损失函数:

其中，D为鉴别器，xr和xf分别从真实分布和假分布的patch中采样。

 周期一致性损失：

对抗损失不能保证学习函数可以映射一个单独的输入xi到期望的输出yi。因此，CycleGAN提出了一种循环一致性损失来减小可能映射函数的空间。循环一致性损失函数(L1−norm)在非配对图像到图像的转换过程中比较循环图像和原始图像[43]。周期一致性损失可表示为:

其中GA和GB分别为正向和反向生成器，x属于域x(即原始域，这里是模糊图像)，y属于域y(即无模糊图像)。其中，GB(GA(x))和GA(GB(y))为重构图像。

如果满足循环一致性损失的目标，则重构图像GB(GA(x))将与输入图像x非常匹配，重构图像GA(GB(y))也将与输入图像y非常匹配

 颜色损失：

模糊图像通常缺乏亮度和对比度，为了改善这些缺乏的特征，我们使用颜色损失[11]来测量增强图像与无雾图像之间的色差。这个损失函数迫使生成器生成与无雾图像具有相同颜色分布的图像。

为了实现这个损失函数，我们对增强图像和无模糊图像应用高斯模糊，然后计算模糊图像之间的欧几里得距离。

Alurered和Bblurred是A和B图像的模糊图像。 

循环感知损失：

对抗性和周期一致性损失都不能保留损坏的模糊图像的文本和感知信息。因此，为了实现感知相似性，我们采用了由循环一致性损失启发的循环感知损失，以确保尽可能多地恢复该信息。

这种损失可以使用预训练的VGG16[33]模型来计算图像之间的特征空间距离。该损失函数已被其他基于视觉的任务所采用[16,17]。它约束了提取的特征在输出图像和真实图像之间的距离。

由于我们的方法是使用非配对监督设计的，即图像的基础真值不可用，因此不能直接应用感知损失。因此，当无法获得基础真理时，采用了一种改进版本的感知损失，最初由[14]提出。他们计算了原始图像和增强图像之间的损失函数，并将其称为自我保留感知损失，并表明它有助于保留图像结构和细节。我们采用这种损失，并以循环一致的方式利用它，我们称之为循环感知损失。

该损失函数的目的是在去雾过程中保持图像的结构和内容特征。为了计算这一损失，我们将重点放在从VGG-16预训练模型的第2层和第5层池化中提取的特征映射上。

公式8显示了这种损失是如何计算的:

其中Ih表示模糊的输入图像，G(Ih)表示去噪后的输出图像。符号σi;j表示从预训练(在ImageNet数据集上)VGG16模型中提取的特征。Wi;j和Hi;j是提取的特征的维数。I表示第I个Max池化，j表示第j个Max池化层之后的第j个conv层。

在输入LCP和L Local CP之前，我们还在VGG特征映射后添加了实例规范化层[38]，以稳定训练。为了计算局部鉴别器的L Local CP，我们使用输入和输出图像的裁剪局部补丁，并使用相同的方程8。

最终目标函数：

 总结：在本文中，我们将图像去雾问题视为图像到图像的转换问题，并提出了一种循环一致的生成对抗网络，称为Dehaze-GLCGAN，用于非配对图像去雾。Dehaze-GLCGAN利用具有局部-全局结构的鉴别器来有效去除雾霾，并利用感知和色彩损失来生成逼真的干净图像。通过三个基准测试数据集，验证了该方法的有效性。

通过对抗性训练，我们证明了全局-局部鉴别器结构以及感知和颜色损失可以有效地应用于未配对的单幅图像去雾。我们推测，这种结构可以推广到其他图像恢复和重建应用，如单幅图像去雨。

注释：

（1）PatchGAN鉴别器是一种用于图像生成对抗网络（GANs）中的鉴别器结构。GANs是一种由生成器和鉴别器组成的模型，旨在生成逼真的数据样本。

传统的鉴别器通常输出一个标量值，表示输入图像是真实图像的概率。然而，PatchGAN鉴别器的输出是一个局部的图像判别结果，而不是一个单一的标量。

具体来说，PatchGAN鉴别器将输入的图像分成许多小的图像块，通常是一个N x N的网格。然后，鉴别器对每个图像块分别进行判别，输出每个图像块是真实图像的概率。最终，这些局部判别结果会被综合或平均得到整体的鉴别结果。

PatchGAN鉴别器的优势在于可以更好地捕捉输入图像的细节和结构信息。因为它对图像的不同局部区域进行判别，可以更加关注图像的局部纹理、边缘和结构，而不是整个图像的整体特征。这使得生成器在生成图像时，更加注重细节和真实感，从而提升了生成图像的质量。

PatchGAN鉴别器常用于图像到图像的转换任务，如图像风格转换、图像去雨、图像超分辨率等。通过使用PatchGAN鉴别器，可以实现更加精细和真实的图像生成效果。