这篇文章与Attentive-GAN网络结构很相似,顺带一起整理了。
成长就是在慢慢学会放下。
2019AAAI : RR-GAN
这篇文章是2019AAAI的一篇文章,主要提出了一种缓解成对数据训练约束的去雨方法,整体结构与2018CVPR AttentiveGAN比较相似。
这篇文章主要提出了一种RainRemoval-GAN(RR-GAN),使用不配对监督。
通过引入一个物理模型来从可微规划的角度明确地学习恢复的图像和相应的雨条纹,从而减轻了成对的训练约束。整体网络由一个多尺度注意力记忆生成器和一个多尺度深度监督判别器组成。多尺度注意记忆生成器利用带有注意机制的记忆捕捉不同阶段的潜雨条纹背景,恢复干净的图像。深度监督的多尺度鉴别器在恢复的输出图像上对干净图像集的局部细节和全局外观施加约束。与学习到的雨纹一起,使用重建约束来确保外观与输入图像一致。
主要创新之处:
1、将CycleGAN与单幅图像去雨结合,从而使无配对数据的雨水去除训练成为可能。
2、基于注意记忆的多尺度注意记忆生成器,将粗尺度和细尺度密连网络中的上下文信息融合在一起,利用未配对的训练数据递归地学习雨纹,从而恢复干净的图像。
3、多尺度深度监督鉴别器,使所生成的复原图像在低层次细节和高层结构上都尽可能地符合目标图像。