【图像超分辨率重建】——GRL论文精读笔记

2023-Efficient and Explicit Modelling of Image Hierarchies for Image Restoration(RGL)

基本信息

作者： Yawei Li1 Yuchen Fan2 Xiaoyu Xiang2 Denis Demandolx2 Rakesh Ranjan2 Radu Timofte1;3 Luc Van Gool1;4
期刊： CVPR
引用： *
摘要： 本文的目的是提出一种机制，在全局、区域和局部范围内有效和明确地建立图像层次模型，用于图像修复。为了实现这一目标，我们首先分析了自然图像的两个重要属性，包括跨尺度相似性和各向异性的图像特征。受此启发，我们提出了Anchored Stripe Attention，它在自我注意的空间和时间复杂性以及区域范围以外的建模能力之间实现了良好的平衡。然后，我们提出了一个新的网络结构GRL，通过Anchored Stripe Attention、Window Attention和Channel Attention增强卷积，在全局、区域和局部范围内明确地模拟图像层次。最后，提议的网络被应用于7种图像修复类型，涵盖真实和合成设置。所提出的方法为其中的几个类型设定了新的技术状态。

1.简介

自然图像包含全局、区域和局部范围的特征层次，深度神经网络可以利用这些特征进行图像修复。

• 首先，局部范围涵盖几个像素的跨度，典型的特征是边缘和局部颜色。为了对这些局部特征进行建模，我们使用了具有小核（如3x3）的卷积神经网络（CNNs）
• 第二，区域范围的特点是有几十个像素的窗口。这个范围的像素可以覆盖小物体和大物体的组成部分。由于范围较大，用大核CNN对区域特征（一致性、相似性）进行明确建模，在参数和计算上都是低效的。相反，具有窗口关注机制的变换器很适合这项任务。
• 第三，除了局部和区域性的，一些特征具有全局性的跨度，包括但不限于对称性、多尺度图案重复、同尺度纹理相似性，以及大型物体和内容的结构相似性和一致性。为了在这个范围内建立特征模型，需要对全局图像进行理解

全局范围特征的挑战：

• 首先，现有的基于卷积和窗口关注的图像修复网络无法通过使用单一的计算模块明确地捕捉长距离的依赖性。