Deep Light Enhancement without Paired Supervision （非配对数据监督学习用于低曝光图像增强）

Deep Light Enhancement without Paired Supervision

注：本篇总结仅供学习交流

1.Abstracrt

    基于深度学习的方法在图像还原和增强方面取得了显著成功，但是当缺少成对的训练数据时，它们仍然具有竞争力吗？举一个这样的例子，本文探讨了弱光图像增强问题，在实践中，同时拍摄同一视觉场景的弱光和正常光照片极具挑战性。

• 我们提出了一个高效的无监督生成对抗网络，称为EnlightenGAN，可以在没有弱光/正常光线图像对的情况下进行训练，但事实证明可以很好地推广到各种实际测试图像中。我们建议不要使用地面真实数据来监督学习，而是建议使用从输入本身中提取的信息对未配对的训练进行规范化，并针对低光图像增强问题的一系列创新进行基准测试，其中包括全局局部标识符结构，自我规范的知觉丧失融合和注意机制。通过广泛的实验，我们提出的方法在视觉质量和主观用户研究方面在各种指标下均优于最新方法。

2.Introduction

• 在弱光条件下拍摄的图像对比度低，能见度差和ISO高噪点。这些问题既挑战了人们希望获得高可见度图像的视觉感知，也挑战了许多依赖计算机视觉算法的智能系统，例如全天自动驾驶和生物识别[1]。为了减轻这种退化，已经提出了大量算法，从直方图或基于认知的算法[2，3]到基于学习的方法[4，5]。使用深度学习的最新图像恢复和增强方法严重依赖于合成或捕获的已损坏和干净的图像对进行训练，例如超分辨率[6]，去噪[7]和去模糊[8]。

• 然而,成对训练图像的可用性的假设带来了更多的困难,在增强图像更不受控制的场景,如去雾、去雨或光线暗的改进:1)非常困难甚至不切实际的同步捕获损坏和地面实况图像相同的视觉场景(例如,光线和普通光照图像对在同一时间);2)从干净的图像中合成损坏的图像有时会有帮助，但这种合成的结果通常不够逼真，当训练后的模型应用于真实的低光图像时，会产生各种伪影;3)特别对于低光增强问题，在低光图像中可能没有唯一的或定义良好的高光真实图像。例如，任何从黎明到黄昏拍摄的照片都可以被看作是在同一场景拍摄的午夜照片的高亮版本。考虑到上述问题，我们的首要目标是增强低光照片与空间变化的光照条件和过度/不足的曝光伪影，而配对的训练数据是不可用的。

• 受[9，10]启发，进行无监督的图像到图像转换，我们采用生成对抗网络（GANs）在低光图像空间和正常光图像空间之间建立不成对的映射，而不依赖于精确配对的图像。这使我们免于仅使用合成数据或在受控设置中捕获的有限真实配对数据进行训练。我们引入了一个轻量级但有效的单路径GAN，称为EnlightenGAN，而没有像以前的工作那样使用循环一致性[11、12、13、14]ÿ