问题提出
Related Works
随着学习技术的发展,已经提出了几种基于合成数据的除雾算法。 唐等。 [7]使用随机森林计算每个补丁的传输值。 蔡等。 [8]基于称为DehazeNet的端到端系统,预测了每个补丁的传输值。 任等人。 [9]提出了MSCNN来准确预测传输图。 Li等。 [10]重新制定了雾度形成模型,以结合大气光信息和透射图来实现无雾图像恢复。 任等人。 [20]提出了基于CNN的视频雾度去除算法。 Zhang和Patel unskip [21]介绍了霾形成模型,并利用GAN来获得清晰的结果。 在CVPR 2019 [22]中,提出了一种基于补丁图概念的算法,可有效解决雾霾去除中的颜色失真问题。
GAN的体系结构由Goodfellow等人提出。 同时训练了生成器和鉴别器,以提高这两个网络的性能。 这种新颖的体系结构已被广泛用于各种图像处理任务中,例如超分辨率[24],去除雨水或雾霾[25],图像美化[26],图像翻译[27],[28]和图文图像 合成[29],[30],[31]。 由于这种体系结构的优点,我们采用GAN作为我们提议的网络的骨干网,因为它能够有效地学习补丁图和恢复图像。
方法提出
本节介绍了建议的PMHLD网络。该网络的流程图如图3所示。所提出的网络基于两种类型的除雾策略,即基于补丁图的DCP和混合学习DehazeNet。它的体系结构可以分为两部分,即无雾图像生成器和无雾图像鉴别器。在发生器部分,透射图和大气光是需要估计的两个关键变量。为了预测传输图,选择DCP作为主干,因为与其他基于手工优先级的除雾方法相比,它具有出色的性能。但是,使用DCP恢复的结果通常可能会出现严重的颜色失真问题。因此,需要分析造成这种颜色失真的原因。为了解决这个问题,已经提出了一种称为补丁图的新功能。为了准确生成补丁图,已经设计了一个双注意力补丁图选择网络。对于除雾的另一个重要变量,大气光估计,已经开发了一个估计网络来精确预测。对于无雾的鉴别器部分,由于我们希望获得的重建结果尽可能接近清晰的图像,因此采用了鉴别器架构。在以下小节中将详细介绍上述技术,下图为方法的整体结构:
传统的DCP可以通过准确估计透射图来获得无雾结果。但是,它的性能在某些情况下可能会受到限制[3](例如,在包含白色或明亮场景的图像中过饱和和颜色失真)。导致这些问题的主要原因是补丁大小固定。在传统的DCP中,假定三个颜色通道中的局部色标的最小值为零。但是,此假设在某些情况下可能不成立,因此可能会使恢复的图像质量下降。使用(3)之前的原始DCP,可以从(5)估算t(x)。但是,当补丁大小固定为较小值时,