Linearly-Assembled Pixel-Adaptive Regression Network for Single Image Super-resolution and Beyond

LAPAR: Linearly-Assembled Pixel-Adaptive Regression Network for Single Image Super-resolution and Beyond

论文信息

• Paper: [NeurIPS2020] LAPAR: Linearly-Assembled Pixel-Adaptive Regression Network for Single Image Super-resolution and Beyond
• Link: http://proceedings.neurips.cc/paper/2020/file/eaae339c4d89fc102edd9dbdb6a28915-Paper.pdf
• Code: https://github.com/Jia-Research-Lab/Simple-SR (testing code only)

背景梳理

图像超分辨率 (Single Image Super Resolution, SISR) 任务是指将一张低分辨率 (Low Resolution, LR) 的图像恢复成对应的高分辨率 (High Resolution, HR) 图像，要求恢复后的高分辨率图像尽可能真实。自 SRCNN[1] 首次将卷积神经网络运用到 SISR 以来, 目前深度学习方法已取得超分辨率任务的最佳性能。然而，如何在模型复杂度和性能之间达到平衡，是现有深度学习方法面临的一个关键挑战。

本文提出了一种轻量级的图像超分模型——线性组装的像素级自适应回归网络 (Linearly-Assembled Pixel-Adaptive Regression Network, LAPAR) 。与其他基于深度学习的超分辨率模型不同，LAPAR 没有直接去学习 LR 图像到 HR 图像的映射，而是将任务简化为针对多个基滤波器 (base filter) 的线性回归任务。 在保证推理速度的同时，本文提出的方法在超分辨率、去噪、JPEG块效应去除 (deblocking) 等图像修复任务上都有很好的性能。

如上图所示，LAPAR模型在性能(PSNR指标)、计算量(MultiAdds)、参数量三方面都具有显著优势

主要亮点

• 本文精心设计并预定义了一组有实际意义的基滤波器，使模型只需专注于针对这些基滤波器的回归任务。

• 与现有的图像超分辨轻量网络相比，本文提出的 LAPAR 在模型参数、计算量和性能上取得了 state-of-the-art 的效果。

方法

问题定义

对于一张 $(sH)\times (sW)$ 大小的高分辨率图片 $y$，我们使用某种退化方式进行 $s$ 倍降采样，可得到对应的 $H\times W$ 大小的低分辨率图像 $x$。图像超分辨的任务就是将 $x$ 恢复成 $y$。显然，这是一个不适定（ill-posed）问题，因为我们需要将 $x$ 中的每1个像素变为高分辨率图像中的 $s\times s$ 个像素，所以我们需要利用其它先验或约束来解决这个问题。

对基滤波核的线性回归

本文假设：对于 $x$ 经过 bicubic 上采样得到的图像 $\text{bicubic(x)}$，其每个像素 $p$ 可以通过对 $p$ 周围的 $k\times k$ 范围感受野进行滤波（filtering）增强。为了表述方便，文章定义 B∈R(HWs2)×(k2)B\in \mathbb{R}^{(HWs^2)\times (k^2)}