Deeply-Recursive Convolutional Network for Image Super-Resolution

Deeply-Recursive Convolutional Network for Image Super-Resolution

摘要

  我们提出了使用深度递归卷积网络（DRCN）的图像超分辨率方法（SR）。 我们的网络有一个非常深的递归层（最多16个递归）。增加递归深度可以提高性能，而不会为附加卷积引入新参数。 尽管有一个优点，但由于梯度爆炸/消失问题，使用标准梯度下降法来学习DRCN是非常困难的。为了减轻模型训练的难度，我们提出两个扩展：递归监督和跳过连接。 

介绍

  对于图像超分辨率（SR），卷积网络的感受野决定了可以利用的上下文信息的量来推断丢失的高频分量。例如，如果训练中一类边缘信息出现在感受野中，那么重建过程中这一类边缘可以被识别且强化。由于SR是一个不定逆向问题，收集和分析更多的邻域像素可对恢复下采样后可能丢失的信息提供更多线索。

  成功实现各种计算机视觉任务的深度卷积网络（DCN）通常使用非常大的感受野（ImageNet分类中常见的224x224）。在扩展感受野的许多方法中，增加网络深度是一种可能的方式。利用大于1×1的过滤器大小的卷积（转换）层或者减少中间表示的维度的池层可以使用的。 这两种方法都有缺点：层引入更多的参数和池层。网络层通常丢弃一些像素级别的信息。

  对于图像恢复问题，如超分辨率和去噪，图像细节非常重要。因此，这些问题的大多数深度学习方法不能使用池化技术。通过添加新的网络层来增加深度，基本上会引入更多的参数。可能会出现两个问题。首先，很可能会过度拟合，需要更多的训练数据，使模型变得越来越大。

  为了解决这些问题，我们使用深度递归卷积网络（DRCN）。DRCN根据需要重复地使用相同的卷积层参数。参数的数量不会增加，而执行了更多的递归。我们的网络的感受野为41乘41，与SRCNN相比较（13比13）。DRCN具有良好的性能，我们发现用广泛使用的随机梯度下降法优化的DRCN不容易收敛。这是由于爆炸/消失的梯度。提出了一个高性能的模型结构，能够捕捉像素长程的依赖，在保持较小模型的情况下，有更宽的感受野，41×41。

  我们提出两种方法来缓解训练的难度。首先，对所有递归进行监督。每个递归之后的特征图用于重构目标高分辨率图像（HR）。重建方法（专用于重建的层）对于所有递归都是相同的。由于每个递归导致不同的HR预测，因此我们将从不同递归级别得到的所有预测结合起来，以提供更准确的最终预测。第二个提议是使用从输入到重建层的跳过连接。在SR中，低分辨率图像（输入）和高分辨率图像（输出）在很大程度上共享相同的信息。然而，输入的精确副本在许多正向传递期间可能被衰减。我们将输入显式连接到层以进行输出重建。当输入和输出高度相关时，这是特别有效的。

论文贡献