论文阅读笔记:Low-Light Image Enhancement via a Deep Hybrid Network

摘要

在光线不足的环境中，摄像头传感器通常无法捕捉清晰的图像或视频。在这篇论文中，作者提出一个可训练的混合网路来提升退化影像的可见度。该网络由两个不同的流组成，在一个统一的网络中同时学习全局内容和清晰图像的显著结构。更具体地说，内容流(content stream)通过编码器-解码器网络估计低光输入的全局内容。然而，内容流中的编码器往往会丢失一些结构细节。为了弥补这一缺陷，我们提出了一种新的空间变异递归神经网络（RNN）作为边缘流(edge stream)，在另一个自动编码器的引导下对边缘细节进行建模。实验结果表明，与现有的微光图像增强算法相比，该网络具有良好的性能。

论文要点

研究目的

旨在弥补现有的弱光增强模型在结构细节上有所丢失的缺陷；

解决方案简要

提出了一种新的空间变异递归神经网络（RNN）作为边缘流(edge stream)，在另一个自动编码器的引导下对边缘细节进行建模。(就是除了利用图像原本的信息之外，还利用了从图像提取而来的边缘隐藏信息。)

网络设计

总体网络结构如下:

该网络主要包括content stream和Edge stream；前者旨在初步预测图像的全局特征，后者旨在利用RNN来提取图像的边缘隐藏信息的特征；然后再联合两种features map来进一步增强图像的对比度。

content stream

近年来编码器-解码器网络在图像去噪、除雾、修复、消光和协调(harmonization)上都有比较好的效果；于是作者在content stream中采用的也是 encoder-decoder 的结构，值得注意的是，前两层卷积层采用的是膨胀卷积；其余部分与U-Net结构类似；

edge stream

在一维方向上(以图像第一行从左到右为例)，作者采用以下方式来提取边缘信息；
…
h为所求结构,g、p为权重参数，x为图像元素，k表示位置；总体上来说，h[k]上包含有图像在k位置x[k]的信息，还包含有上一个位置的边缘信息h[k-1]，这两者的所占程度受g[k]和p[k]控制；而g，p是未知的，或者说本应有人为给定，但是人为又难以给定，因此作者采用可学习的g,p来协助提取边缘信息；以下为edge stream的网络结构:

edge stream部分是整篇论文的主要说明部分，也是其亮点之处࿱