2018 Arxiv : KGCNN
本篇文章是2018年预发表在Arxiv
上的一篇文章,主要是提出了一种使用核指导的卷积神经网络(KGCNN)用于单幅图像去除雨纹的方法。
KGCNN:a kernel guided convolutional neural network
现有的方法在某些情况下可以很好地去除雨纹。但是雨纹生成过程中本质因素即运动模糊,导致了线性模式的出现,这些都被深度学习雨纹去除方法所忽略了,这也导致了过去雨或者欠去雨的结果。
KGCNN
首先对运动模糊机制干扰的雨纹进行建模,然后框架开始学习运动模糊核,运动模糊核由角度和长度两个因素决定,这两个因素由一个参数网络通过一个纹理成分的patch得到。//什么狗屁英文。。。。
然后通过维数拉伸操作,学习到的运动模糊核拉伸成为和雨的patch相同大小的退化图。
然后将拉伸后的退化图和纹理patch一起输入到一个典型ResNet结构的去雨卷积神经网络中去,并在学习到的运动模糊核的指导下训练输出雨纹。
创新之处:
1、建立了一种考虑了运动模糊核的雨纹生成模型,考虑了雨纹的重复性和方向性。
2、引入了一个参数子网络学习运动模糊核的参数(长度和角度),与现有方法利用子网络嵌入上下文的信息不同,该子网络设计用于使用雨纹的生成信息。
3、提出了一种内核指导的卷积神经网络(KGCNN)去除雨纹的方法。</