【LLIE专题】NTIRE 2025 低照度图像增强第一名方案解读

在这里插入图片描述


本文将对 FusionNet: Multi-model Linear Fusion Framework for Low-light Image Enhancement,这篇暗光增强算法进行讲解。参考资料如下:

[1]FusionNet文章


专题介绍

在低光照环境下,传统成像设备往往因画面昏暗、细节丢失而受限。LLIE(低照度暗光增强)技术应运而生,它通过提升图像亮度、对比度,减少噪点并恢复色彩细节,让暗夜变得清晰可见。

LLIE技术从传统方法如直方图均衡化、Retinex模型等起步,近年来借助深度学习,尤其是卷积神经网络(CNN),GAN模型,扩散模型实现了质的飞跃。这些算法能自动学习图像特征,精准处理低光照图像,效果显著优于传统技术。

本专题将聚焦LLIE技术的核心原理、应用案例及最新进展,让我们一起见证LLIE如何点亮暗夜,开启视觉新视界!欢迎一起探讨交流!

系列文章如下
【1】ZeroDCE
【2】HVI
【3】CLIP-LIT
【4】GLARE
【5】Retinexformer
【6】SG-LLIE
【7】GPP-LLIE


一、研究背景

1.低光图像增强的挑战:低光图像存在亮度低、对比度差、噪声高等问题,影响视觉感知和计算机视觉任务(如目标检测)。
2.现有方法的局限
- 深度学习方法(如CNN、Transformer)在单模型性能上有进展,但单一网络或颜色空间(如sRGB、HSV)难以兼顾全局与局部特征。
- 现有融合策略(如串行连接、多阶段训练)存在参数爆炸、训练耗时、特征错位等问题。
3. 研究目标:提出高效的多模型融合框架,结合不同网络和颜色空间的优势,提升低光图像增强的鲁棒性和性能。
该方法在CVPR2025的NTIRE低光增强挑战赛中获得第一名。

二、FusionNet方法

1.总体方案

用一句话来总结这篇文章可以概况为该文章提出了高效的多模型融合框架,结合不同网络和颜色空间的优势,来提升低光图像增强的鲁棒性和性能
在这里插入图片描述

2.详细方案

2.1. 核心架构

  • 多模型并行集成:整合三种互补模型,三个模型单独训练,最后把结果进行加权融合:
    • ESDNet(CNN-based):提取局部细节特征。
    • Retinexformer(Transformer-based):捕捉全局上下文。
    • CIDNet(HVI颜色空间):解耦亮度与颜色,减少色彩失真。
  • 线性融合策略:通过线性加权组合三模型输出,公式为 I H Q = ∑ k i F ( I L Q ) I_{HQ} = \sum k_i F(I_{LQ}) IHQ=kiF(ILQ),确保亮度稳定性( ∑ k i = 1 \sum k_i = 1 ki=1),其中每个模型对应的 k i k_i ki的值则通过实验确定,具体方法是求解使得测试集PSNR和SSIM最大的 k i k_i ki的值作为最终值。比如在本文中峰值信噪比(PSNR)和结构相似性指数(SSIM)在 k 1 = 0.16 k_{1}=0.16 k1=<
### 照度图像增强技术综述 #### 技术背景与发展 光照条件下的成像通常会面临亮度不足、对比度降以及噪声增加等问题。为了改善这些问题,研究者们提出了多种照度图像增强方法。这些方法可以分为传统方法和基于深度学习的方法两大类。 传统的照度图像增强方法主要包括直方图均衡化、Retinex理论及其变体、Gamma校正以及其他基于物理模型的技术[^1]。这类方法依赖于手工设计的特征提取器和优化目标,在计算效率上具有优势,但在复杂场景中的表现可能受限。 近年来,随着深度学习的发展,许多研究人员转向利用神经网络来解决照度图像增强问题。这种方法通过构建复杂的端到端映射关系,能够更好地捕捉输入与输出之间的非线性特性。具体而言,现代LLIE(Low-light Image Enhancement)框架往往涉及特定的学习策略、创新性的网络结构设计、精心定义的损失函数以及大规模标注数据集的支持[^2]。 #### 关键技术分析 以下是几种重要的照度图像增强关键技术: 1. **多尺度上下文聚合** 多尺度信息对于理解图像内容至关重要。一种有效的方式是采用膨胀卷积(dilated convolution),它能够在不改变感受野大小的情况下引入更大的空间范围内的像素关联性。这种机制允许模型捕获更广泛的纹理细节并减少因下采样操作带来的分辨率下降风险[^3]。 2. **暗通道先验** 暗通道先验是一种广泛应用于大气散射现象处理的有效工具,最初由何恺明等人提出用于单张图片除雾任务。“暗通道”的概念指的是自然景观照片里大部分区域至少存在一个颜色分量接近零的情况。此假设被证明适用于大多数户外环境,并据此开发出了相应的恢复流程[^4]。尽管其原始用途并非针对夜间或者昏暗条件下拍摄的照片调整,但某些情况下也可以间接借鉴这一理念来进行初步预处理或辅助其他算法完成最终效果改进工作。 3. **生成对抗网络 (GAN)** GANs因其强大的生成能力而成为当前最流行的解决方案之一。它们不仅可以合成逼真的高亮版本样本,而且还能保留原图的真实感不受破坏。例如CycleGAN架构无需配对训练实例即可实现跨域转换;Pix2pix则强调一对一精确对应关系建立等等。不过需要注意的是,虽然此类方案具备高度灵活性,但也伴随着潜在不稳定性和难以控制结果一致性的问题。 4. **自监督/弱监督学习范式** 当获取大量高质量标签变得困难时,探索如何仅依靠少量甚至完全没有明确指导信号便能达成预期目的就显得尤为重要了。一些前沿尝试正在朝向这方面迈进——比如借助循环一致约束促使隐含表征尽可能贴近实际分布形态从而达到泛化性能提升的目的。 #### 总结 总体来看,无论是经典还是新兴手段都有各自适用场合及局限之处。未来的研究方向可能会更加注重融合两者优点形成混合型体系结构以便适应更多元化的应用场景需求。与此同时,考虑到能耗成本等因素影响,轻量化部署也成为不可忽视的一个重要考量维度。 ```python import torch.nn as nn class DilatedConvBlock(nn.Module): def __init__(self, in_channels, out_channels, kernel_size=3, dilation_rate=2): super(DilatedConvBlock, self).__init__() padding = int((kernel_size - 1) * dilation_rate / 2) self.conv = nn.Conv2d(in_channels=in_channels, out_channels=out_channels, kernel_size=kernel_size, stride=1, padding=padding, dilation=dilation_rate) def forward(self, x): return self.conv(x) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值