【LLIE专题】NTIRE 2025 低照度图像增强第二名方案

Transformer Design（2025，NTIRE）)
本文将对 Towards Scale-Aware Low-Light Enhancement via Structure-Guided Transformer Design，这篇暗光增强算法进行讲解。参考资料如下：

[1] SG-LLIE 文章
[2] SG-LLIE代码

---

专题介绍

在低光照环境下，传统成像设备往往因画面昏暗、细节丢失而受限。LLIE（低照度暗光增强）技术应运而生，它通过提升图像亮度、对比度，减少噪点并恢复色彩细节，让暗夜变得清晰可见。

LLIE技术从传统方法如直方图均衡化、Retinex模型等起步，近年来借助深度学习，尤其是卷积神经网络（CNN），GAN模型，扩散模型实现了质的飞跃。这些算法能自动学习图像特征，精准处理低光照图像，效果显著优于传统技术。

本专题将聚焦LLIE技术的核心原理、应用案例及最新进展，让我们一起见证LLIE如何点亮暗夜，开启视觉新视界！欢迎一起探讨交流！

系列文章如下
【1】ZeroDCE
【2】HVI
【3】CLIP-LIT
【4】GLARE
【5】Retinexformer

---

一、研究背景

现有低光照图像增强（LLIE）技术多依赖直接映射（端到端直接学习）或语义、光照图引导，但因 LLIE 不适定性及语义提取困难，在极低光照下效果受限。为此，作者提出 SG - LLIE，一种结构先验引导的多尺度 CNN - Transformer 混合框架。其采用光照不变边缘检测器提取结构先验，在 UNet 编码器的编解码结构上构建 CNN - Transformer 混合结构引导特征提取器（HSGFE）模块，并在 HSGFE 中引入结合结构先验调节增强过程的结构引导 Transformer 模块（SGTB）。实验证明，该方法在多个基准测试中实现定量指标和视觉质量最优，在 NTIRE 2025 低光照增强挑战赛中获第二名。

二、SG-LLIE方法

1.和Retinexformer方案对比

之前我们介绍过Retinexformer这篇基于光照引导的暗光图像增强方案。我们可以简单介绍下两种方案差异：
Retinexformer 创新性地将照明先验引入 Transformer，指导反射增强，生成明亮图像，证实物理先验在深度学习模型中的潜力。不过，作者认为Retinexformer 通过轻量级神经网络获取照明，缺乏光照分量真实值监督，导致在现实场景泛化性差，易出现不自然颜色强度与对比度问题。基于此，作者探索将更稳健的物理先验融入 LLIE 深度学习模型，旨在克服现有局限，优化增强效果 。说白了就是Retinexformer先验太过于简单，鲁棒性不足；作者提出了更强的先验。但是网络结构思想基本一致，都结合了CNN多尺度特征提取和Transformer基于先验引导的注意力机制的思想。

2.总体方案及创新点

本文提出 SG-LLIE，一种结构先验引导的尺度感知 CNNTransformer 框架用于低光照图像增强。该方案基于 UNet 编码器 - 解码器架构，在各层级引入混合结构引导特征提取器（HSGFE）模块。HSGFE 模块通过光照不变边缘检测器提取稳定结构先验，借助结构引导 Transformer 块（SGTB）将其融入恢复过程，并结合扩张残差密集块（DRDB）和语义对齐尺度感知模块（SAM）实现多尺度特征融合。​

其创新点在于：

• 一是构建结构先验引导的多尺度 CNN-Transformer 混合框架；
• 二是先提取鲁棒结构先验，再通过结构引导交叉注意力将其整合到定制 Transformer，优化增强指导；
• 三是模型在量化指标和视觉效果表现优异，在 NTIRE 2025 低光图像增强挑战赛中取得高排名，竞争力突出。

3.详细方案

SG-LLIE的整体框架如上图所示。该结构是类似U-Net的架构。在编码器和解码器的每一层，采用了混合结构引导特征提取器（HSGFE）模块。在每个HSGFE中，包含了扩张残差密集块（DRDB）和语义对齐尺度感知模块（SAM），以及结构引导变压器块（SGTB）模块。采用Pixel Unshuffle进行下采样，Pixelshuffle进行上采样。SGTB模块中首先基于颜色不变边缘检测器提取结构先验，然后将这些先验作为Transformer的指导进行特征整合。

3.1 结构先验提取

为提取结构先验，作者采用了《Zero-shot day-night domain adaptation with a physics prior 》和《Lita-gs: Illuminationagnostic novel view synthesis via reference-free 3d gaussian splatting and physical priors》两篇文章中提出的颜色不变卷积（CIConv）。CIConv通过可学习的尺度感知变换来生成一个归一化的边缘响应图，该图反映与任务相关的结构。在基于Kubelka-Munk (KM) 反射模型导出的颜色不变表示中，论文采用W表示法，因为它在不同的光照、阴影和反射条件下能提供稳健的边缘检测：
$$W_{out}=CIConv\left(I_{in}\right),(1)$$
其中$I_{in}$表示输入的低照度（LL）图像。$W_{out}$表示结构先验，随后将其整合到结构引导变换器模块（SGTB）中用于指导。CIConv的公式可表示为：
$$CIConv\left(I_{in}\right)=\frac{log\left(W^2\left(I_{in}\right)+ϵ\right)-{\mu }_{\mathcal{S}}}{{\sigma }_{\mathcal{S}}}(2)$$
其中$\mu s$、${\sigma }_s$ 和$ϵ$分别指样本均值、标准差和小扰动。
为计算$W(I_{in})$，首先使用高斯颜色模型（高斯颜色模型（Gaussian Color Model）是一种用于图像边缘检测的经典方法，核心思想是利用高斯核函数对图像的颜色（或灰度）信息进行滤波，通过计算像素点在空间和颜色维度上的梯度变化来检测边缘。）获得初始边缘检测器，记为E。然后，使用E推导出第二阶段的边缘检测器，记为W，如下所示：
$$W=\sqrt{W_x^2+W_{\lambda x}^2+W_{\lambda \lambda x}^2+W_y^2+W_{\lambda y}^2+W_{\lambda y}^2+W_{\lambda \lambda y}}$$