DehazeNet: An End-to-End System for Single Image Haze Removal（端到端的去雾模型）

原创

已于 2023-11-09 23:18:50 修改 · 1.8k 阅读

28 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习

于 2023-11-09 23:13:46 首次发布

文章介绍了DehazeNet，一种端到端的深度学习模型用于图像去雾，通过特殊网络设计估计透射率，提出BReLU激活函数。文中比较了现有先验模型，并展示了DehazeNet的结构和优势。

1、论文去雾总体思路

DehazeNet是2016年华南理工大学的研究者提出的一个端到端的深度学习模型，该模型主要通过输入的原始有雾图像拟合出该图所对应的medium transmission map（透射率t值图），并使用引导滤波对t值进行refine，接着通过medium transmission map中前0.1%的值所对应的原始图像的RGB值的均值求取全局大气光值，利用现有的大气散射模型完成图像去雾操作。

文章的主要贡献:
1、通过特殊的网络设计构建了一个端到端的网络，利用原始雾天图像直接拟合对应的透射率图像t，进而达到去雾的目的
2、提出了一个非线性的双边整流线性激活函数模块（BReLu）,并验证了它的有效性（减少搜索空间，加速模型收敛）
3、建立了DehazeNet与现有的假设先验之间的联系，并解释了通过自动学习来优化和改善之前的先验假设

2、既有模型简介

2.1 大气散射模型

在这里插入图片描述
由上图可知，阳光在物体表面形成反射光 J(x)，反射光在穿过雾霾的过程中发生散射，只有部分能量 J(x)t(x) 能到达摄像头。与此同时，阳光也在悬浮颗粒表面散射形成大气光 α 被摄像头接收。因此，摄像头中的成像 I(x) 可由两部分组成，透射的物体亮度 J(x)t(x) 和散射的大气光照 α(1－t(x))。

大气散射模型是图像去雾的核心公式，由上述描述可知，最终到达镜头呈现出来的图像包含两部分：透射的物体亮度 J(x)t(x)以及散射的大气光照 α(1－t(x))，具体公式如下所示：
在这里插入图片描述

2.2 既有先验模型

（1）暗通道先验
在这里插入图片描述
参考之前的文章：Single Image Haze Removal Using Dark Channel Prior(暗通道先验)
（2）最大对比度方法
雾霾会降低物体成像的对比度：Σx‖ΔI(x)‖=tΣx‖ΔJ(x)‖≤Σx‖ΔJ(x)‖。因此，基于这个推论可利用局部对比度来近似估计雾霾的浓度。同时，也可以通过最大化局部对比度来还原图像的颜色和能见度
在这里插入图片描述
（3）颜色衰减先验
颜色衰减先验（CAP）是一种与暗通道先验（DCP）相似的先验特征。观察发现雾霾会同时导致图像饱和度的降低和亮度的增加，整体上表现为颜色的衰减。根据颜色衰减先验，亮度和饱和度的差值被应用于估计雾霾的浓度
在这里插入图片描述
（4）色调视差

3、DehazeNet总体概况

在这里插入图片描述
模型的整体架构包含四个大块，分别是特征提取，主要是通过卷积+maxout激活函数；多尺度特征映射，主要借鉴xception网络，使用3、5、7三种不同大小的卷积获取不同感受野的特征并进行通道拼接；局部极值，利用maxpooling完成极值的求解；非线性回归，使用一个6*6的卷积+BReLU完成非线性映射。

3.1 特征提取

传统图像提取特征都会需要一定的假设和先验，但是这些手工设计的或者假设的特征并不是在所有情况下都适用。在观察了暗通道先验、最大对比度先验、颜色衰减先验的实现原理后，作者提出可以使用相对应的卷积核去卷积原始图像并加上非线性激活后的特征等效代替上述先验特征。此处使用maxout激活函数主要是将通道分段，提取不同的通道的最大值，结合不同的卷积核，可以得到类似暗通道先验、最大对比度先验、颜色衰减先验等的效果，并且可以带来更强的拟合性能。
在这里插入图片描述
此处的卷积使用的是5*5的卷积核，输入是3通道输出是原始输入图片的宽（输入数据大小16*16），激活函数是maxout，该激活函数和普通的激活函数不太一样，如下为对比

对于普通的激活函数，z=w*x+b而言，out=f(z)，其中f就是我们常用的激活函数，比如ReLU,Sigmod等

针对maxout不一样的点在于，如果我们设置maxout的组数K为5，则会在每个神经元的前面多出一层，这一层有5个神经元，如下图所示。
在这里插入图片描述
那么maxout的计算公式就变成了：
z1=w1x+b1
z2=w2x+b2
z3=w3x+b3
z4=w4x+b4
z5=w5*x+b5
最终的输出为out = max(z1,z2,z3,z4,z5)