【图像超分辨率重建】——SwinIR论文精读笔记

2021-SwinIR: Image Restoration Using Swin Transformer (SwinIR)

基本信息

作者： Jingyun Liang, Jiezhang Cao, Guolei Sun, Kai Zhang, Luc Van Gool, Radu Timofte
期刊： ICCV
引用： 123
摘要： 图像恢复是一个长期存在的低级视觉问题，旨在从低质量图像（例如，缩小、噪声和压缩图像）中恢复高质量图像。虽然最先进的图像恢复方法是基于卷积神经网络，但很少有人尝试使用在高级视觉任务上表现出令人印象深刻的性能的 Transformers。在本文中，我们提出了一种基于 Swin Transformer 的用于图像恢复的强基线模型 SwinIR。 SwinIR由三部分组成：浅层特征提取、深层特征提取和高质量图像重建。特别地，深度特征提取模块由几个残差 Swin Transformer 块 (RSTB) 组成，每个残差块都有几个 Swin Transformer 层和一个残差连接。我们对三个代表性任务进行了实验：图像超分辨率（包括经典、轻量级和真实世界图像超分辨率）、图像去噪（包括灰度和彩色图像去噪）和 JPEG 压缩伪影减少。实验结果表明，SwinIR 在不同任务上优于最先进的方法高达 0.14 0.45dB，而参数总数最多可减少 67%。

1.简介

图像恢复（超分、去噪、JPEG压缩）旨在退化图像中重建高质量图像，目前CNN是主力方法。多数CNN侧重于精细的架构设计（残差学习、密集连接）与传统的基于模型的方法相比，性能有了显着提高，但它们通常会遇到两个源于基本卷积层的基本问题。首先，图像和卷积核之间的交互与内容无关。使用相同的卷积核来恢复不同的图像区域可能不是最好的选择。其次，在局部处理的原则下，卷积对于远程依赖建模是无效的。

作为 CNN 的替代方案，Transformer设计了一种自我注意机制来捕获上下文之间的全局交互，并在多个视觉问题中表现出了良好的性能。然而，用于图像恢复的视觉 Transformers通常将输入图像分成固定大小（例如 48 48）的块，并独立处理每个块。这种策略不可避免地会带来两个缺点。首先，边界像素不能利用补丁外的相邻像素进行图像恢复。其次，恢复后的图像可能会在每个补丁周围引入边界伪影。虽然这个问题可以通过补丁重叠来缓解，但它会带来额外的计算负担。

最近，Swin Transformer显示出巨大的潜力，因为它集成了 CNN 和 Transformer 的优点。一方面，由于局部注意机制，它具有 CNN 处理大尺寸图像的优势。另一方面，它具有 Transformer 的优势，可以使用移位窗口方案对远程依赖进行建模。

基于 Transformer 的 SwinIR 比CNN有几个好处

1. 图像内容和注意力权重之间基于内容的交互，可以解释为空间变化的卷积
2. 移动窗口机制支持远程依赖建模
3. 用更少的参数获得更好的性能

2.相关工作