DeblurGAN-v2去模糊(数量级)更快更好

image.pngRelated work

•Image Deblurring 根据先验假设模糊核->CNN对模糊核进行估计->端到端的无内核清晰图像估计->GAN用于去模糊 

•Generative adversarial networks Least Squares GANs discriminator提供了更平滑和不饱和的梯度 Relativistic GAN估计给定的真实样本比假样本更真实的概率

Contribution

•Framework Level   Feature Pyramid Network(FPN)   A relativistic discriminator with a least-square loss 

•Backbone Level   Inception ResNet-v2   MobileNet   MobileNet-DSC 

•Experiment Level   faster

Technical architecture
image.pngDouble-Scale RaGAN-LS Discriminator

image.png

•GoPro dataset 3214个图像对,2103对用于训练,1111对用于评估 

•DVD dataset 71个真实世界的视频,平均短曝光近似长曝光,生成了6708个合成的图像对 

•NFS dataset 75个视频,另外还有从别的设备中获取的25个序列image.png

image.png

image.png Analysis

对比: 

•->FPN的引入,特征重用减少参数,加快速度 

•WGAN->相对GAN和最小二乘GAN,更稳定的训练,从而可以选择轻量级网络,加快速度 

•PatchGAN->全局和局部PatchGAN,增加准确度 启发: 

•注重loss的设置,L1,L2更注重像素级,会导致模糊,加一个可以使边缘锐化的loss? 

•学习残差

### DeblurGAN-v2中的FPN结构解析 在DeblurGAN-v2中,特征金字塔网络(Feature Pyramid Network, FPN)被用来增强模型对于不同尺度模糊图像细节的理解能力[^2]。 #### 特征提取层的设计理念 FPN通过构建一个自顶向下的路径来补充原有的自底向上路径,在这个过程中引入横向连接以融合来自低层次的空间信息和高层次语义信息。这种设计使得每一层都能够获得高分辨率的特征图以及丰富的上下文理解。 #### 自底向上的通路 该部分主要由卷积神经网络构成,负责从输入图片中抽取基础级别的视觉特征。随着层数加深,感受野逐渐扩大,从而捕捉到更大范围内的模式变化。 #### 自顶而下与横向连接机制 为了弥补传统CNN仅依赖于单一尺度特征所带来的局限性,FPN采用了一种新颖的方式——即利用上采样操作将高层抽象特征传递给较低层,并在此基础上加入相同大小的感受域所对应的浅层特征作为补充。具体来说就是对每一个阶段产生的输出执行最近邻插值放大两倍尺寸后再与相应位置处未经压缩前版本相加得到最终改进后的表示形式。 ```python def fpn_layer(top_down_input, lateral_input): """ 实现单个FPN层级处理逻辑 参数: top_down_input (Tensor): 来自更高级别的top-down信号 lateral_input (Tensor): 当前level的lateral feature map 返回: Tensor: 经过融合处理的新feature map """ # 对顶部传来的数据做1x1 conv调整通道数并缩小空间维度至匹配侧边输入 P = Conv2D(filters=lateral_input.shape[-1], kernel_size=(1, 1))(top_down_input) # 将P上采样回原shape以便后续addition运算 upsampled_P = UpSampling2D(size=(2, 2), interpolation='nearest')(P) # 加法节点实现特征拼接 fused_feature_map = Add()([upsampled_P, lateral_input]) return fused_feature_map ``` #### 多尺度预测头 最后一步是在各个经过强化之后的不同级别特征映射之上附加专门用于生成清晰化结果的小型子网。这些头部可以独立工作也可以共享参数取决于实际应用场景需求。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值