低光图像增强论文Global and Local Enhancement Networks for Paired and Unpaired Image Enhancement阅读笔记

论文链接：http://mcl.korea.ac.kr/research/hukim-eccv2020-glenet/5010.pdf

项目链接：https://github.com/hukim1124/GleNet

论文来源：ECCV 2020

作者：韩国大学

Abstract

1.本文提出了一种新的成对和非成对图像增强方法。包括全局增强网络（GEN）和局部增强网络（LEN）。 2.所提出的GEN可以进行比像素预测更容易训练的通道强度变换。提出的LEN算法基于空间滤波对GEN的结果进行细化。 3.其次，分别提出了配对学习和非配对学习训练方案来训练GEN和LEN。实验结果表明，该算法在成对和非成对图像增强方面均优于现有算法。值得注意的是，所提出的非配对图像增强算法能够取得比最新的配对图像增强算法更好的结果。

1  Introduction

balabala

图像增强方法可以分为全局方法和局部方法。前者导出一个将输入颜色映射到输出颜色的变换函数。后者根据局部邻域信息执行空间滤波以确定像素颜色。 对于图像的自动增强，已有许多研究被提出。大多数早期的研究集中在全局方法上，因为它比局部方法更稳定，计算复杂度更低。然而，仅使用单个变换函数可能不足以产生令人满意的增强图像。相比之下，最近基于深度学习的研究主要采用局部方法。这些方法从大量的成对数据中学习鲁棒的像素级映射。然而，它们需要许多低质量和高质量的图像对。为了克服这一问题，不需要图像对的非成对图像增强引起了人们的广泛关注。然而，尽管已有的研究取得了一些进展，但与现有的成对图像增强方法相比，其效果并不令人满意。

本文提出了两种网络：全局增强网络（GEN）和局部增强网络（LEN）来实现成对和非成对图像增强。GEN执行通道级的强度变换，这种变换比基于U-Net架构的像素级的预测容易得多。LEN进行空间滤波以细化GEN结果。然后，我们分别开发了配对学习和非配对学习的训练方案。特别地，我们提出了一种基于生成对抗网络的两阶段非配对学习训练方案。在MIT-adobe5k数据集上的实验表明，该方法在成对和非成对图像增强方面都优于现有的方法。此外，与传统的配对方法相比，本文提出的非配对方法得到了更好的增强效果。

总之，这项工作有三个主要贡献：

我们提出GEN和LEN用于成对和非成对图像增强。

我们提出了两阶段的非配对图像增强训练方案。

所提出的方法在MIT adobe5k数据集上表现出优异的性能。

3  Proposed Algorithm

3.1  Model

Global Enhancement Network:

设 代表在像素位置p处的rgb通道值，同样，设表示通道c∈{r，g，b}的变换函数，其第k个元素wc把在Ic位置的值k映射为输出强度Ic~上的wc,k。因此，像素p处的信道c的变换强度被定义为：

其中vT p是256维的一个独热编码。

给定一幅大小为256×256的RGB图像，GEN生成一个768维向量，它是三个变换函数wr，wg，wb的串联向量。表1给出了GEN的详细结构，我们使用了MobileNetV3[4]中的反向残差块来