【LLIE专题】基于码本先验与生成式归一化流的低光照图像增强新方法

本文将对 GLARE: Low Light Image Enhancement via Generative Latent Feature based Codebook Retrieval，这篇暗光增强算法进行讲解。参考资料如下：
[1] GLARE 文章
[2] GLARE 代码

---

专题介绍

在低光照环境下，传统成像设备往往因画面昏暗、细节丢失而受限。LLIE（低照度暗光增强）技术应运而生，它通过提升图像亮度、对比度，减少噪点并恢复色彩细节，让暗夜变得清晰可见。

LLIE技术从传统方法如直方图均衡化、Retinex模型等起步，近年来借助深度学习，尤其是卷积神经网络（CNN），GAN模型，扩散模型实现了质的飞跃。这些算法能自动学习图像特征，精准处理低光照图像，效果显著优于传统技术。

本专题将聚焦LLIE技术的核心原理、应用案例及最新进展，让我们一起见证LLIE如何点亮暗夜，开启视觉新视界！欢迎一起探讨交流！

系列文章如下
【1】ZeroDCE
【2】HVI
【3】CLIP-LIT

---

一、研究背景

现有的基于深度学习的LLIE方法大多存在一些局限性，比如这些模型在处理具有复杂光照变化和场景差异的图像时，泛化能力不足。为了改善这类问题，作者提出了GLARE（Generative Latent Feature based Codebook Retrieval for Low Light Image Enhancement）方法，将Codebook技术引入到了LLIE任务中。GLARE 方法的核心思想是利用编码本中的潜在特征来指导低光照图像的增强过程。具体来说，该方法首先将输入的低光照图像分解为多个潜在特征，这些潜在特征能够捕捉图像的不同属性，如亮度、颜色、纹理等。然后，通过检索与之匹配的高质量潜在特征，将这些高质量潜在特征与原始低光照图像特征进行融合，从而生成增强后的图像。

二、GLARE方法

整个训练过程分为三个阶段，每个阶段都有其独特的训练目标和网络结构。

阶段一：正常光照代码本学习（Normal-Light Codebook Learning）

1. 训练目标

在第一阶段，主要目标是利用大量高质量、正常光照的图像数据，通过自监督的方式学习一个通用且全面的正常光照图像特征码本。这个码本能够捕捉正常光照图像的各种特征模式，为后续的低光照到正常光照映射提供先验知识。

2. 网络结构

阶段一使用了类似 VQGAN 的结构，包括正常光照编码器（NL Encoder）和正常光照解码器（NL Decoder，Dnl）。

• 正常光照编码器（NL Encoder） ：将输入的正常光照图像 $I_{nl}$转化为潜在特征表示 $z_{nl}$。其结构通常由多个卷积层、激活函数和可能的归一化层组成，用于提取图像的高级特征。
• 正常光照解码器（NL Decoder，Dnl） ：将量化后的潜在特征$z_q$转换回图像空间，重建正常光照图像 $I_{nl}^{rec}$。解码器的结构通常是编码器的逆过程，包含反卷积层或上采样层，以逐步恢复图像的空间分辨率。

3. 公式

对于输入的正常光照图像$I_{nl}$，通过正常光照编码器 $E_{nl}$得到潜在特征$z_{nl}$：

$${\mathbf{z}}_{nl}=E_{nl}({\mathbf{I}}_{nl})$$

其中，$E_{nl}$表示正常光照编码器，$I_{nl}$是输入的正常光照图像。

然后，利用最近邻匹配，将每个潜在特征向量 z n l i {z}_{nl}^{i}