Unsupervised Single Image Deraining with Self-supervised Constraints论文阅读

本文介绍了一种自我监督的图像处理方法,用于解决雨天图像去雨和合成的不确定性问题。通过生成网络和鉴别器的联合使用,以及背景保持、亮度调整等约束条件,实现了更逼真的雨天图像生成。

原文链接:https://arxiv.org/pdf/1811.08575.pdf

文中提到以往的无监督方法因为没有对应的ground truth来计算mse约束生成图像,因此会产生一些artifacts,还有就是以往的图像转换任务都是one to one 的transform,而雨的不确定性太多,有很多不同的视觉表现。因此文中提出了self-supervised的约束方法,如图:

输入带雨的图片R到生成网络Gc 中生成区域之后的图片C’,再R-C’得到雨层S’,再将其与真实的干净图像结合,合成带雨的图片与真实的带雨的图片输入到鉴别器Ds中让它去鉴别哪个是真的雨,哪个是合成的雨。

BGM中将输入图像R和生成图C’ 分别加不同程度的高斯模糊之后来求平均梯度差(average gradient error)约束使得生成图保留住背景内容。

同时也用了一个轻量级网络Gr来反向生成带雨的图片约束生成图中保留住需要保留的信息。

因为参考的不带雨图像可能是晴天拍摄的,所以会生成雨天亮度相符的生成图像,因此文中又加了鉴别器Dc,使得生成图与真实不带雨的图像更接近的同时也约束了生成图的亮度。C为真实的不带雨的图,E为对C做了亮度提升的图。

最后的总的loss:

w1,w2,w3,w4分别为1,5,1,0.5

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值