【论文精读】Retinexformer: One-stage Retinex-based Transformer for Low-light Image Enhancement

重生之我在CUC写代码

已于 2024-03-15 15:56:18 修改

阅读量3.5k

点赞数 19

文章标签： transformer 深度学习人工智能

于 2024-03-15 15:54:47 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_54098256/article/details/136634985

版权

本文提出了一种名为Retinexformer的新型方法，结合单阶段基于Retinex的框架ORF和光照引导TransformerIGT，以解决低光照图像增强中的噪声、伪影等问题。实验结果显示，Retinexformer在多项基准测试中优于现有最先进的方法，展示了在实际应用中的潜在价值。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

论文链接：https://openaccess.thecvf.com/content/ICCV2023/papers/Cai_Retinexformer_One-stage_Retinex-based_Transformer_for_Low-light_Image_Enhancement_ICCV_2023_paper.pdf

代码链接：https://github.com/caiyuanhao1998/retinexformer

3.1. One-stage Retinex-based Framework（ORF）

3.1.6. illumination estimator（）

3.1.7. discussion

3.2. Illumination-Guided Transformer

Abstract

任务：增强低光照图片

背景：很多算法使用Retinex理论

痛点：

①很多Retinex模型没有考虑到损坏（corruptions）现象（噪声、伪影、色彩失真等现象），这种损坏藏在黑暗中or在光照的过程中被引入；

②这些算法需要繁琐的多步骤训练pipeline，它们依赖于卷积神经网络，在捕获long-range的依赖的时候存在局限性。

本文方法：

①提出一个简单但有规则的基于Retinex的单阶段框架（ORF）：

首先，ORF估计照明信息来使低光照图像变亮
然后，恢复损坏来生成增强图像

②设计一个光照引导的transformer（IGT）：利用光照特征来指导不同光照条件区域的non-local相互作用的建模

③将IGT插入ORF得到算法Retinexformer

实验：

全面的定量和定性实验表明，我们的 Retinexformer 在 13 个基准测试中显着优于最先进的方法。

低光物体检测的用户研究和应用也揭示了我们的方法的潜在实用价值。

1. Introduction

低光照增强任务：

它的目的是改善低光图像的可见度差和对比度低的问题，并恢复隐藏在黑暗中或由点亮过程引入的损坏（例如噪声、伪影、颜色失真等）。

低光照增强算法：

方法类别	方法	介绍	缺点
简单方法	直方图均衡、伽马矫正	简单方法直接放大曝光不足图像的低可见度和对比度。几乎不考虑光照因素	会产生不需要的伪影，和真实正常光场景下的图像在感知上不一致
传统认知方法	基于Retinex理论的方法	将彩色图像分为两个部分：反射率和光照强度，假设图像无噪声和颜色失真，聚焦于光照强度估计	①会引入噪声or局部颜色失真，与真实曝光不足的场景不一致；②依赖于手工设计的先验，调参工作细致繁琐且泛化能力较差
基于CNN的方法	直接使用CNN来学习从低光照到正常光照图像的强力映射函数的方法	忽略人类的颜色感知	缺乏可解释性和理论上可证明的特性，在捕获long-range依赖性和非局部自相似性方面表现出局限性。
基于CNN的方法	多步骤训练pipeline方法	分别采用不同的 CNN 来分解彩色图像、对反射率进行降噪并调整照明。这些 CNN 首先独立训练，然后连接在一起进行端到端微调。	训练过程繁琐耗时，在捕获long-range依赖性和非局部自相似性方面表现出局限性。
深度学习模型	transformer		可能提供解决基于 CNN 的方法的这一缺点的可能性。然而，直接应用原始视觉 Transformer 进行低光图像增强可能会遇到问题。计算复杂度与输入空间大小成二次方。计算消耗大。
CNN-Transformer混合算法	SNR-Net等		Transformer 在弱光图像增强方面的潜力仍未得到充分开发。