DRRN（Image Super-Resolution via Deep Recursive Residual Network）超分辨网络-详细分析

1. Introduction

这篇文章可以在一定程度上看做是DRCN的改良版，保留了DRCN的全局跳层连接和循环块提升网络深度但限制参数量的思想，增加了ResNet的局部跳层连接的思想。

这里提一下，如果本文中有些概念读者看的不太清晰，可以参考本专栏之前的文章，因为有些知识之前提过了，这里就一笔带过了，我们只列出本篇文章的一些创新点，而对冗余部分不多做说明。另外说一下，这个专栏目前的定位是以SISR为主题的，今后可能会引入其他low-level
vision的图像处理技术，以后会再做说明！

作者点明了在图像进入网络之前做插值处理的弊端（增加计算量），提到了在ESPCN超分辨网络中使用的Sub-Pixel策略，这种方法是通过在网络末端做分辨率提升，进而减小了计算量和缓解了网络的记忆负担。

VDSR：为了加深网络深度，做20层卷积。同时为了深度网络能够收敛，作者使用了更大的学习率（初始0.1，但随epoch的增加而减小）。为了避免高学习率和深度网络带来的梯度爆炸和梯度消失问题，作者使用了梯度裁减和残差学习的方法。

DRCN：为了控制网络参数，该方法提出了使用循环层的思想（每次循环都使用同样的参数，这既加深了网络，又不增加模型复杂度）。为了解决训练的问题，作者提出了循环监督（每次循环都受到直接来自与标签直连的重建层的监督）和跳层连接（跳层连接不仅可以缓解梯度，还可以缓解网络记忆负担）的思想。最终作者使用自融合策略进一步融合各次循环的重建结果，进一步提升网络性能。

RED30：这篇文章还没读过。但以利用了残差的思想，证明了“THE DEEPER THE BETTER”

DRRN：主要贡献如下：

1. 引入全局和局部残差学习。类似于ResNet，引入了残差单元（这也意味着引入了局部残差学习），使得网络运行几层就会进行一次残差学习（这样更有利于网络运行过程中的高频信息重建和保持），同时在最后的输出层也会进行一次大的残差学习。

References

1. DRRN超分辨网络-详细分析