【论文精读】DALE : Dark Region-Aware Low-light Image Enhancement

出处

2020 BMVC

摘要

本文提出了一种新的微光图像增强方法–暗区域感知微光图像增强(DALE)，该方法通过视觉注意模块准确地识别暗区域，并对其亮度进行强化。我们的方法可以有效地利用超像素来估计视觉注意力，而不需要任何复杂的过程。因此，该方法可以保持原始图像的颜色、色调和亮度，并防止图像的正常照明区域饱和和失真。实验结果表明，我们的方法通过所提出的视觉注意准确地识别出暗区域，并且在定性和定量上都优于最先进的方法。

论文贡献

1.提出了一种新的注意力模块来识别暗光区域。使其在保留其他区域亮度的同时，密集地增强暗区域的亮度。
2.提出了一个局部光照数据集。

暗区感知的微光增强网络

所提出的微光增强网络由视觉注意网络和增强网络组成。其中注意网络产生可以识别暗区的注意图，而增强网络输出微光增强的图像。网络的整体架构如图所示：

视觉注意网络（VAN）

网络构成

VAN采用U-Net结构(即编码器和解码器)作为主干网络。第一卷积层的核大小为3×3，步长为1。编码器有三个卷积层、残差块和两个下采样层，残差块由具有1×1大小的核的卷积层、ReLU和SE块组成，它们具有不同的扩张因子(即3、2和1)。解码器具有三个卷积层、残差块和两个上采样层。残差块使用不同的扩张因子(即1、2和3)。

损失函数

注意图$VA(I_{local})$和真实图像$I_{VAGT}$的$l_2$损失，公式如下：
$${\mathcal{L}}_a=||VA(I_{local})-I_{VAGT}|{|}_2\text{\hspace{1em}(1)}$$

其中，$I_{local}$表示具有局部照明区域的低光图像，
感知损失，它在特征层面衡量$VA(I_{local})$和$I_{VAGT}$之间的相似性。公式如下：
$${\mathcal{L}}_p=||\varphi (VA(I_{local})+I_{local})-\varphi (I_{GT})|{|}_1\text{\hspace{1em}(2)}$$
其中，$\varphi (\cdot )$表示的是预先训练的VGG-16网络。
总的损失表示如下：
$${\mathcal{L}}_{VAN}={\lambda }_1{\mathcal{L}}_a+{\lambda }_2{\mathcal{L}}_p\text{\hspace{1em}(3)}$$

增强网络（EN）

所提出的EN使用估计的视觉注意图来增强微光图像的亮度。EN将微光图像和视觉注意图的拼接作为输入。与VAN相似，所有卷积层的核大小均为3×3，步长为1。3个残差块使用从3到1的不同膨胀因子，而我们将所有残差块连接起来进行信息融合。

损失函数

在像素级别上计算微光图像$EN(I_{EN})$和真实图像$I_{GT}$的$l_2$损失，公式如下：
$${\mathcal{L}}_e=||EN(I_{EN}-I_{GT})|{|}_2\text{\hspace{1em}(4)}$$
其中$I_{EN}=VAN(I_{local})+I_{local}$。
同时，计算感知损失去衡量$EN(I_{EN})$和$I_{GT}$之间的相似性。公式如下：
$${\mathcal{L}}_{ep}=||\varphi (EN(I_{EN}))-\varphi (I_{GT})|{|}_1\text{\hspace{1em}(5)}$$
总变化损失目的是使输出图像在空间上平滑：
$${\mathcal{L}}_{tv}=\frac{1}{CHW}||{\nabla }_{x}EN(I_{EN})+{\nabla }_{y}EN(I_{EN})|{|}^2\text{\hspace{1em}(6)}$$
最后，$EN$的总损失如下：
$${\mathcal{L}}_{EN}={\lambda }_1{\mathcal{L}}_e+{\lambda }_2{\mathcal{L}}_{ep}+{\lambda }_3{\mathcal{L}}_{tv}\text{\hspace{1em}(7)}$$