隐式神经网络实现低光照图像增强

最新推荐文章于 2025-10-19 23:00:36 发布

原创

最新推荐文章于 2025-10-19 23:00:36 发布 · 2.1k 阅读

26 ·

CC 4.0 BY-SA版权

文章标签：

#python #图形图像

✨✨ 欢迎大家来访Srlua的博文（づ￣3￣）づ╭❤～✨✨

🌟🌟 欢迎各位亲爱的读者，感谢你们抽出宝贵的时间来阅读我的文章。

我是Srlua小谢，在这里我会分享我的知识和经验。🎥

希望在这里，我们能一起探索IT世界的奥妙，提升我们的技能。🔮

记得先点赞👍后阅读哦~ 👏👏

📘📚 所属专栏：传知代码论文复现

欢迎访问我的主页：Srlua小谢获取更多信息和资源。✨✨🌙🌙

引言

那么目前低光照图像增强还面临哪些挑战呢？

挑战1. 不可预测的亮度降低和噪声

挑战2.度量友好版本和视觉友好版本之间的差异

本文所有资源均可在该地址处获取。

2023年人工智能顶会ICCV会议论文复现
Implicit Neural Representation for Cooperative Low-light Image Enhancement

引言

本文涉及到低光照图像增强、图像的神经表示以及多模态学习等领域，下面将简单介绍下相关知识。

1.低光照图像增强

低光图像增强是图像处理领域的一个重要研究方向，旨在改善在低照度条件下拍摄的图像质量。低光条件下的图像往往具有低对比度、噪点增加和细节丢失等问题。低光图像增强方法通过调整图像的亮度、对比度、色彩平衡等方面来提高图像的质量和视觉感知效果。

2.图像的神经表示

图像的神经表示指的是通过神经网络模型对图像进行编码和表示的方法。传统的图像表示方法通常使用手工设计的特征提取器，如SIFT、HOG等。而神经表示方法则通过深度学习模型，如卷积神经网络（CNN）、自编码器等，学习到图像的高级特征表示。这些神经表示能够捕捉图像的语义信息和结构信息，对于图像分类、目标检测、图像生成等任务具有重要作用。

3.多模态学习

多模态学习是指利用不同的感知模态（如图像、文本、语音等）之间的关联性进行联合学习和信息融合的方法。Radford提出从语言监督中学习视觉模型，称为CLIP。经过4亿对图像-文本对的训练，它可以用自然语言描述任何视觉概念，并且无需任何特定的训练就可以转移到其他任务中。CLIP模型的核心思想是通过对图像和文本进行对比学习，使得它们在嵌入空间中的表示能够相互匹配。这意味着，在嵌入空间中，相关的图像和文本将被映射到相近的位置，从而使得模型能够理解图像和文本之间的语义关系，如下图。

CLIP模型通过一个共享的编码器来处理图像和文本输入。对于图像，它使用卷积神经网络（CNN）对图像进行编码；对于文本，它使用Transformer模型对文本进行编码。编码器的输出表示图像和文本在嵌入空间中的表示。CLIP模型的优点是不需要大量的标注数据，可以使用大规模的无标注图像和文本数据进行预训练。预训练后的CLIP模型可以用于多种任务，如图像分类、图像生成、图像检索等。它在许多视觉和语言相关的任务中取得了出色的性能，并展现了强大的泛化能力。

那么目前低光照图像增强还面临哪些挑战呢？

挑战1. 不可预测的亮度降低和噪声

在低光条件下，图像往往会出现亮度降低和噪声增加的问题。然而，这些退化因素的具体程度和方式往往是不可预测的，因为它们受到多种因素的影响，如光照条件、相机设置等。现有的低光图像增强方法难以准确地对这些退化因素进行建模和处理，导致增强结果可能不够鲁棒并且无法满足视觉感知的要求。

挑战2.度量友好版本和视觉友好版本之间的差异

低光图像增强方法通常会追求在度量上有所改善，例如增加对比度、减少噪声等。然而，这些度量友好的改善并不总是与人眼感知的视觉友好相一致。在一些情况下，虽然度量上的改善较大，但图像质量却被认为是不自然或不真实的。因此，现有方法在度量友好版本和视觉友好版本之间存在固有的差距，无法很好地平衡二者之间的关系。

挑战3. 有限的配对训练数据

有限的配对训练数据：低光图像增强方法通常需要使用配对的训练数据，即低光图像和对应的高质量图像。然而，获取大规模配对数据是一项耗时且昂贵的任务。由于配对数据的限制，现有方法在模型的泛化能力和适应性方面存在一定的局限性。此外，配对数据可能无法涵盖所有的场景和退化情况，导致模型的性能受到限制。

1.论文概述(原文摘要、引言部分)

NeRCo(Implicit Neural Representation for Cooperative Low-light Image Enhancement)提出了一种名为NeRCo的隐式神经表示方法，用于合作式低光图像增强。现有的低光图像增强方法存在以下三个限制：不可预测的亮度降低和噪声、度量友好版本和视觉友好版本之间的固有差距，以及有限的配对训练数据。为了解决这些限制，论文提出了NeRCo方法，它以无监督的方式稳健地恢复感知友好的结果。
具体而言，NeRCo通过一个可控的拟合函数统一了现实场景中多样的退化因素，从而提高了鲁棒性。对于输出结果，论文引入了来自预训练视觉-语言模型的先验信息，采用语义导向的监督方法。它不仅仅追随参考图像，还鼓励结果符合主观期望，寻找更加视觉友好的解决方案。此外，为了减少对配对数据的依赖并减少解决空间，论文开发了一个双闭环约束增强模块，它以自监督的方式与其他相关模块合作进行训练。
最后，广泛的实验证明了我们提出的NeRCo方法的鲁棒性和优越性能。

2.核心创新点(原文方法部分)

2.1 归一化的神经表示

什么是归一化的神经表示？

归一化的神经表示（Neural Representation Normalization）是一种在神经网络中对特征表示进行标准化的技术。它的目的是通过对神经表示进行归一化处理，使得不同样本的特征表示在统计上具有相似的分布，从而提高模型的鲁棒性和泛化能力。在神经网络中，每个神经元的输出表示了输入数据的某种特征。这些特征往往具有不同的尺度和范围，可能会对模型的训练和表征能力产生不利影响。神经表示归一化的目的是通过对特征进行调整，使得它们具有相似的均值和方差，从而减少特征之间的差异。本文是利用余弦相似性对输入进行重构，在与encoder进行编码后的特征concat，而后经过多层感知机得到归一化后的图像，如下图：

为什么归一化的神经表示能够奏效？

学习丰富的特征表示：神经网络模型能够通过多层非线性变换和映射来学习丰富的特征表示。在低光照条件下，图像往往存在低对比度、噪点增加和细节丢失等问题。通过神经网络的层次结构，可以逐渐提取出更高级别、更抽象的特征，从而更好地捕捉图像中的语义信息和结构信息。
鲁棒性和泛化能力：神经表示能够从大量的标记数据中学习到数据的潜在表示，具有较强的鲁棒性和泛化能力。在低光照图像增强任务中，由于光照条件的变化和图像退化的多样性，很难通过手工设计的规则和特征提取器来准确地恢复图像质量。神经表示方法可以通过大规模数据的训练来学习到低光照图像的共性特征，从而更好地适应各种退化情况，提高增强效果的鲁棒性和泛化能力。
感知导向的引导：在低光照图像增强任务中，仅仅恢复图像的亮度和对比度

最低0.47元/天解锁文章