FeedBack Network for Image super Resolution阅读笔记

前言

CVPR2019的一篇论文。

保证网络深度的同时，为了减少网络的参数量，通常使用循环的结构。但是，大多具有循环结构的网络都是以前馈的方式共享信息，这样前一层无法从后一层访问有用的信息。

生物学中，连接大脑皮层视觉区域的反馈连接可以将反应信号从高阶区域传递到低阶区域。受其启发，利用反馈机制将高级信息传回前一层，并细化低级编码特征。

借鉴CVPR2017论文Feedback Network的思路，提出了一种新的图像超分辨率网络，即超分辨率反馈网络（Super-Resolution Feedback Network, SRFBN）。本质上是一个带有反馈块（FB）的RNN。FB由多组上下采样层和密集的跳跃连接构成。

如下图所示，每次迭代时的输出都会流入下一次迭代以控制输入。

为了确保每次迭代的输出包含HR图像的信息，用损失函数监督训练过程中的每次迭代。反馈方案的原理是，粗糙SR图像的信息可以帮助LR图像重建更好的SR图像。

总结，论文的主要工作有以下三点：

1. 提出了一种采用反馈机制的图像超分辨率反馈网络。这种带有反馈连接的循环结构有较强的早期重建能力，且需要的参数较少。
2. 提出了反馈块（FB）。不仅有效地处理反馈信息流，而且通过上下采样层和密集的跳跃连接丰富高层表示。
3. 基于课程学习的训练策略。根据重构难度对训练样本进行排序，使网络由易到难逐步学习。

感兴趣的地方：

1. 反馈机制如何发挥作用
2. 课程学习的训练方法，如何对训练样本进行排序
3. 损失函数的设计

1. 模型结构与反馈机制

高级信息可以引导LR图像更好地恢复SR图像。有三个不可缺少的部分加强反馈方案。

1. 每次迭代计算损失，迫使网络在每次迭代时重建SR图像，从而允许隐藏状态携带高层信息的概念。
2. 使用递归结构，以实现迭代过程。
3. 在每次迭代时提供LR输入，以确保低层信息的可用性。

网络整体结构如下图所示，蓝色箭头表示反馈连接，绿色箭头表示全局残差跳跃连接。

网络可以展开为T次迭代，从1到T。为了使每次迭代带有输出的概念，将每次迭代的输出计算损失。每次迭代的网络包含三个部分：LR特征提取块（LRFB）、反馈块（FB）、重构块（RB）。

FB的结构如下所示。

使用Conv(1,m)对$F_{in}^t$和$F_{out}^{t-1}$进行连接和压缩，通过反馈信息$F_{out}^{t-1}$来细化输入特征$F_{in}^t$，产生细化后的输入特征$L_0^t$。

$$L_0^t=C_0([F_{out}^{t-1},F_{in}^t])$$

其中，$C_0$表示初始压缩操作， [ F o u t t − 1 , F i n t ] [F_{out}^{t-1},F_{in}^{t}]