Underexposed Photo Enhancement using Deep Illumination Estimation（DeepUPE）笔记

最新推荐文章于 2024-10-10 18:30:41 发布

原创最新推荐文章于 2024-10-10 18:30:41 发布 · 2.6k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习

深度学习专栏收录该内容

1 篇文章

订阅专栏

本文介绍了一种名为DeepUPE的图像增强技术，它利用深度照明估计来提升曝光不足图像的质量。不同于传统方法，DeepUPE通过学习照明映射，能更精确地重建图像的光照细节。其网络结构包括预训练的VGG16编码器，用于特征提取，并结合重建、平滑和颜色损失进行训练。

文章：Underexposed Photo Enhancement using Deep Illumination Estimation (DeepUPE) (CVPR2019)

github: https://github.com/wangruixing/DeepUPE

Loss: Reconstruction Loss + Smoothness Loss + Color Loss

摘要：该文章的任务是对曝光不足的图像进行增强。与之前的图像增强方法（直接学习图像到图像的映射）不同，DeepUPE学习(曝光不足图像) $\emph{I}$ 与(illumination map) $\emph{S}$ 的映射，这样可以更好地学习Grund Truth的复杂光照。DeepUPE根据光照先验建立Loss函数。

图像增强：图像增强任务可以看作寻找 $\emph{I}$ 与增强图像 $\tilde{I}$ 的映射关系 $\mathcal{F}$ ，增强图像可以表示为 $\tilde{I}$ = $\mathcal{F}$ ( $I$ )，在Retinex图像增强方法中， $\mathcal{F}$ 的逆过程被建模为(illumination map) $\emph{S}$ 。存在关系 $\emph{I}$ = $\emph{S}*\tilde{I}$ ，其中符号 $*$ 表示基于像素的乘法，当已知 $\emph{S}$ 时，增强图像便可以求得 $\mathcal{F}$ ( $I$ )= $\emph{S}^{-1}*{I}$ 。DeepUPE的任务就是通过网络学习 $\emph{I}$ 与 $\emph{S}$ 的映射关系。

网络结构：

首先，将 $\emph{I}$ 下采样后送入Encoder（采用VGG16的pre-trained模型），得到feature map；然后提取feature map的局部和全局features，将得到的features通过卷积层组合成低分辨率illumination；然后上采样得到 $\emph{S}$ ；最后结合 $\emph{I}$ 得到最终的增强图像 $\tilde{I}$ 。训练网络时使用Reconstruction Loss ( $L_r$ ）、Smoothness Loss ( $L_s$ )、 Color Loss ( $L_c$ )。

$L_r$ ：重构loss定义为重构的增强图像 $\mathcal{F}$ ( $I$ )与Ground Truth $\tilde{I}$ 的L2误差，参考；

$L_s$ ：根据平滑先验，自然图像的光照通常是局部平滑的。在DeepUPE中引入平滑先验有两方面的优点：首先，可以防止过拟合，增加网络的泛化能力；其次，可以增强图像的对比度。

$L_c$ ：将重构的增强图像 $\mathcal{F}$ ( $I$ ) 的每个RGB像素看作三维向量 $(\mathcal{F}(I))_p$ ，同样Ground Truth $\tilde{I}$ 对应的向量为 $(\tilde{I})_p$ ，他们之间的角度为 $\angle{((\mathcal{F}(I))_p,(\tilde{I})_p)}$ 。其中 $()_p$ 表示一个像素， $\angle(,)$ 表示计算两个向量夹角的一种方法。颜色loss可以通过在颜色空间中计算像素的L2距离，之所以不采用这种简单的方法，是因为：一、重构loss已经使用L2计算了像素误差；二、L2进行数值度量，不能保证颜色向量的方向一致性，可能导致颜色的不匹配。

通过Figure.4可以对比不同loss的效果（作用）：

实验：作者只提供了测试代码，如果想用自己的数据训练需要自己写训练代码。下图为使用自己的数据训练与测试的结果：

其中，Input表示输入图像，DeepUPE Pre-train Model表示源代码模型结果，Ours为我们的训练测试结果。

9 条评论

爱吃牛大的程序员小哥哥 2021.08.09
博主您好！请问是否可以分享一下train代码

最佳运动员 2020.10.25
test数据集能否发一下
- SimonCoder回复最佳运动员 2020.10.28
  不好意思，涉及版权

qq_34781013 2020.07.25
您好！我加入smoothness loss会报nan，请问您是否遇到过这个问题？怎么解决呢？
- SimonCoder回复qq_34781013 2020.07.25
  [reply]qq_34781013[/reply]这个没有遇到过，不过你可以试一下issue里其他人实现的smoothness loss

ArcoStudio 2020.06.04
博主您好，Python版本是2.x 还是 3.x ? git上的使用方法有坑吗？您在搭建环境过程中，有遇到坑吗？
- SimonCoder回复ArcoStudio 2020.06.05
  [reply]tsoTeo[/reply]需要的
- ArcoStudio回复SimonCoder 2020.06.04
  [reply]SimonCoder[/reply]感谢回复,另外请问numpy需要单独安装吗?按txt文件中依赖执行,会提示找不到模块numpy,不知道您遇见这个问题没有.
- SimonCoder回复ArcoStudio 2020.06.04
  [reply]tsoTeo[/reply]我用的是python2.7，其他配置都是使用main/requirements.txt里的。github里的issue中有很多信息可以参考，感觉按照requirements.txt里的配置应该是没什么问题。