Deep Back-Projection Networks For Super-Resolution

本文介绍了Deep Back-Projection Networks (DBPN) 和其扩展版 D-DBPN,用于解决超分辨率问题。DBPN采用迭代的上采样和下采样阶段,通过投影单元学习LR和HR图像之间的相互依赖,从而实现更精确的超分辨率。实验显示,在*8尺度上,DBPN达到了最先进的效果。此外,还对比了不同类型的超分辨网络,包括预定义上采样、单次上采样、逐步上采样和迭代上、下采样方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Deep Back-Projection Networks For Super-Resolution


简介

  • 近年来提出的超分辨网络多为前馈结构,学习HR和LR的非线性映射。然而,这些方法不能解决LR和HR的相互依赖关系(address the mutual dependencies of low- and high-resolution images)。
  • 之前的研究表明,人类的视觉系统可能使用反馈连接来简单地指导任务,最近的超分辨网络可能就是由于缺乏这种反馈,所以才不能很好地表达。
  • 作者提出了一种不断迭代地进行增采样和降采样的网络,为每个阶段的映射错误提供错误反馈机制。思想很像传统的迭代反投影算法。作者构建了相互连接的上采样和下采样阶段,每个阶段代表不同类型的图像退化和HR分量。网络命名为DBPN(Deep Back-Projection Networks),以及扩展版本D-DBPN(Dense Deep Back-Projection Networks)。实验表明其超分辨尤其在*8尺度中达到了state-of-the-art。

相关工作

作者把现在的超分辨网络分成四种类型:

  • Predefined upsampling。事先把图像增采样到需要的尺寸。这可能会引入新的噪声。
  • Single upsampling。在最后一步增采样。这种方法可能无法学习到复杂的映射。
  • Progressive upsampling。逐步增采样,例如LapSRN。
  • Iterative up and downsampling。即作者提出的网络。通过学习各种增采样与降采样的操作,该架构允许网络保留HR的内容。
    image_1ca78ej277mf1t7p19v41ebbbbp.png-130.4kB

模型

1. Projection units

整个DBPN里面的主要block是投影单元(projection unit),为了学习HR到LR的投影和LR到HR的投影。两种投影单元的网络和数学描述如下:
image_1ca78r3pf72hp7lpof1h561vtd32.png-96.4kB

  • 这些投影单元可以理解为是一种self-correcting过程,它将投影误差提供给采样层,并通过反馈投影误差来迭代地改变解。
  • 在投影单元中,卷积核的尺寸非常大(例如8*8,12*12),这在过去的网络中不常使用,因为会减低收敛速度,或陷入局部最小值。但是投影单元的迭代利用使网络能够避免这种限制,得到更好的表现。

2. Dense projection units

  • 这是DBPN的一种扩展:D-DBPN,其中每个单元的输入都是之前所有单元的输出的堆叠。例如增采样投影单元中,输入尺寸是LR,所以输入是所有降采样投影单元的输出的堆叠(因为它们输出的尺寸都是LR)。反之亦然。另外在进入投影单元时,用一个1*1卷积来降低通道数。

image_1ca79brnu199v17171s1n1co5131r3f.png-30.9kB

3. 网络全貌

  • 整体网络如下所示。我们可以把网络分成三个部分:Initial feature extraction、Back-projection stages、Reconstruction

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值