本文介绍了一种自我监督的图像处理方法，用于解决雨天图像去雨和合成的不确定性问题。通过生成网络和鉴别器的联合使用，以及背景保持、亮度调整等约束条件，实现了更逼真的雨天图像生成。
原文链接：https://arxiv.org/pdf/1811.08575.pdf
文中提到以往的无监督方法因为没有对应的ground truth来计算mse约束生成图像，因此会产生一些artifacts，还有就是以往的图像转换任务都是one to one 的transform，而雨的不确定性太多，有很多不同的视觉表现。因此文中提出了self-supervised的约束方法，如图：
输入带雨的图片R到生成网络Gc 中生成区域之后的图片C’，再R-C’得到雨层S’，再将其与真实的干净图像结合，合成带雨的图片与真实的带雨的图片输入到鉴别器Ds中让它去鉴别哪个是真的雨，哪个是合成的雨。
BGM中将输入图像R和生成图C’ 分别加不同程度的高斯模糊之后来求平均梯度差（average gradient error）约束使得生成图保留住背景内容。
同时也用了一个轻量级网络Gr来反向生成带雨的图片约束生成图中保留住需要保留的信息。
因为参考的不带雨图像可能是晴天拍摄的，所以会生成雨天亮度相符的生成图像，因此文中又加了鉴别器Dc，使得生成图与真实不带雨的图像更接近的同时也约束了生成图的亮度。C为真实的不带雨的图，E为对C做了亮度提升的图。
最后的总的loss：
w1，w2，w3，w4分别为1,5,1,0.5
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
