众所周知,在暗光增强任务中,要获取到适合的成对的暗光/正常曝光训练图像是非常困难的,甚至是不存在唯一的定义良好的正常曝光ground truth图片。如果用正常曝光的图像去合成带噪点的暗光图像作为训练集,很可能导致最终应用在真实世界中的测试出的图片人工伪影严重,泛化性差。
所以作者利用无监督的GAN技术,设计了暗光增强领域中第一个训练数据不成对的无监督网络,称为EnlightenGAN,创新主要在于全局-局部鉴定结构(global-local discriminator structure)、自正则感知loss函数(self-regularized perceptual loss fusion) 和 注意力机制。
EnlightenGAN利用注意力引导的U-Net作为生成器,用双鉴别器(global和local)来平衡全局和局部微光增强。此外,由于缺少ground truth,论文提出了一种自适应的也包含了global和local的perceptual loss来约束微光输入图像与其增强版本之间的特征距离,并与用于训练EnlighttenGAN的adversarial loss一起组成最终的loss,下面详细介绍: