去雨去雾的研究和可用方法

贝猫说python

已于 2022-04-28 11:14:51 修改

阅读量4.8k

点赞数 4

分类专栏： pytorch 文章标签： cnn

于 2021-11-08 16:17:13 首次发布

本文链接：https://blog.youkuaiyun.com/m0_37192554/article/details/121204395

版权

pytorch 专栏收录该内容

9 篇文章

订阅专栏

本文探讨了何凯明去雾建模方法的演变，介绍了基于物理模型的去雾技术，如PSD方法，以及针对水下图像修复与三维重建的计算摄影。特别关注了实时视频去雾网络、PrincipledSynthetic-to-RealDehazing和雨滴去除的结构化方法，如CCN与SPDNet。关键词包括PSNR, SSIM, AECR-Net, REVIDE, 4KDehazing等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、基本概念

从暗通道先验去雾到海底图像修复-三维重建辅助计算摄影
对何凯明提出的去雾建模过程解析，以及类似的方法使得水下图像变清晰的过程

目前已知的方案有两种。第一种是基于图像增强的方法，这类方法是对被降质的图像进行增强，改善图像的质量。但是，这种方法可能会造成图像部分信息的损失，使图像失真。

第二类是基于物理模型的方法，这种方法通过研究大气悬浮颗粒对光的散射作用，建立大气散射模型，了解图像退化的物理机理，并反演复原出未降质前的图像。这是一类专门针对雾天图像的图像复原的方法，复原出来的图像效果真实，贴近降质前景物原景，对复杂场景的图像处理效果较好，图像信息得到较完整的保存。

二、基本方法

2.1 评价指标基本方法

图像质量评价指标之 PSNR 和 SSIM

# im1 和 im2 都为灰度图像，uint8 类型
# method 1
diff = im1 - im2
mse = np.mean(np.square(diff))
psnr = 10 * np.log10(255 * 255 / mse)
# method 2
psnr = skimage.measure.compare_psnr(im1, im2, 255)

im1 和 im2 都为灰度图像，uint8 类型

ssim = skimage.measure.compare_ssim(im1, im2, data_range=255)

2.2 去雾去雨方法

1、去雾

相关介绍较好的资料
最新实时去雾网络+去雾新数据集
 图像去雾（image dehazing）近期论文简述及模型测试
2021年 Principled Synthetic-to-Real Dehazing Guided by Physical（PSD方法效果较好）

1、 2021 ContrastiveLearning for Compact Single Image Dehazing
https://github.com/GlassyWu/AECR-Net

2、2021 Learning toRestore Hazy Video: A New Real-World Dataset and A New Method
提出了一组真实的视频去雾数据集（REVIDE）

2021 Ultra-High-Definition Image Dehazing via Multi-Guided Bilateral Learning, CVPR 2021
如下三通道网络提升效果

3、2021 Ultra-High-Definition Image Dehazing via Multi-Guided Bilateral Learning, CVPR2021
https://github.com/zzr-idam/4KDehazing
在速度和准确率 trade-off中表现好，能够在单个GPU上对4K图像进行实时去雾的新型网络，该网络由三个深度CNN组成，创建了一个大规模的4K图像去雾数据集。

4、2021 Principled Synthetic-to-Real Dehazing Guided by Physical
Priors, CVPR2021
https://github.com/zychen-ustc/PSD-Principled-Synthetic-to-Real-Dehazing-Guided-by-Physical-Priors
从预训练合成数据的去雾模型backbone开始，PSD利用真实的模糊图像以无监督的方式对模型进行微调，证明了为现实世界的去雾得到了最新的性能

2、去雨

1、2021 Removing Raindrops and Rain Streaks in One Go

现有的去雨算法一般针对的是单一的去除雨线或者是去除雨滴问题，但是在现实场景中两种不同类型的雨往往同时存在。尤其是在下雨的自动驾驶场景中，空气中线条状的雨线和挡风玻璃上的椭圆形水滴都会严重影响车载摄像头捕捉的画面的清晰度，从而大幅降低了自动驾驶算法准确性。在这篇文章中，我们从以下两个方面去解决上述的现实生活中去雨问题。首先，我们设计一种complementary cascaded网络结构—CCN，能够在一个整体网络中以互补的方式去除两种形状和结构差异较大的雨。其次，目前公开数据集缺少同时含有雨线和雨滴的数据，对此我们提出了一个新的数据集RainDS，其中包括了雨线和雨滴数据以及它们相应的Ground Truth，并且该数据集同时包含了合成数据以及现实场景中拍摄的真实数据以用来弥合真实数据与合成数据之间的领域差异。实验表明，我们的方法在现有的雨线或者雨滴数据集以及提出的RainDS上都能实现很好的去雨效果。
2、2021 Structure-Preserving Deraining with Residue Channel Prior Guidance
https://arxiv.org/pdf/2108.09079.pdf
https://github.com/Joyies/SPDNet
2、2020RCDnet
A Model-driven Deep Neural Network for Single Image Rain Removal 解读

提出了一个可解释性模型RCDNet，并具体采用了最近邻梯度技术设计了一种求解该模型的优化算法，并且该算法很容易通过网络模块实现，使得该算法能够轻松地扩展到深度网络体系结构中。
该网络的特殊性在于其各模块与算法运算符之间存在精确的逐步对应关系，因而模块与算法运算符之间具有可解释性，所以网络中间层的每个输出都具有清晰的解释，这极大地促进了对训练期间网络内部发生的情况的更深入分析，并全面理解了网络为何有效。
实验结果从定量和视觉上证实了RCDNet的优越性，并且普通用户不仅可以通过可视化所有网络层来直观理解网络的合理性，而且可以产生普遍的雨粒形状，为多雨图像提供先验知识，从而为进一步为合成更多真实多雨图像提供可用性。