【HAT】 Activating More Pixels in Image Super-Resolution Transformer

置顶 已于 2022-05-10 17:37:15 修改
阅读量6.4k 收藏 44
点赞数 11
分类专栏： 超分辨率 文章标签： transformer 深度学习 计算机视觉
于 2022-05-10 17:27:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hbw136/article/details/124692907
版权
文章介绍了HAT，一种用于图像超分辨率的混合注意力Transformer，旨在解决Transformer在局部信息利用上的局限性。HAT结合通道注意力和自注意力，通过重叠交叉注意力模块增强信息聚合，同时探索了同一任务预训练策略的效果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Activating More Pixels in Image Super-Resolution Transformer

（在图像超分辨率transformer中激活更多的像素）

作者：Xiangyu Chen1,2 , Xintao Wang3 , Jiantao Zhou1 , and Chao Dong2,4

单位：1University of Macau 2Shenzhen Institute of Advanced Technology,

Chinese Academy of Sciences 3ARC Lab, Tencent PCG 4Shanghai AI Laboratory

代码：GitHub - chxy95/HAT: Activating More Pixels in Image Super-Resolution Transformer

论文地址：https://arxiv.org/pdf/2205.04437

一、问题与动机

尽管现阶段作者发现一些基于transformer的SR模型获得了更高的指标性能，但由于使用信息的范围有限，在某些情况下它产生的结果不如 RCAN。 这些现象说Transformer对局部信息的建模能力更强，但其利用信息的范围有待扩大。

最低0.47元/天 解锁文章
【论文阅读笔记】Activating More Pixels in Image Super-Resolution Transformer
时光机 °的博客
03-08 1680
使用LAM方法测试（可以得到选择区域哪些像素贡献了最多），得到结论：虽然swinIR的平均指标更高，但基于transformer的swinIR的信息利用范围并不比基于CNN的RCAN方法要大，如下图所示。有效信息范围较小，但指标高，可能可以得出SwinIR比CNN方法拥有更大的映射能力的结论。但与此同时，由于其利用像素区域的范围有限，可能会恢复出错误的纹理。所以本文设计网络的时候考虑了在使用近self-attention结构的时候利用更多的像素用于重构。
Activating More Pixels in Image SuperResolution Transformer
weixin_43238909的博客
03-06 2984
相比之下，我们基于相同的任务直接在更大规模的数据集上进行预训练，表明预训练的有效性更多地取决于数据的规模和多样性。因此，我们的目标是设计一种网络，在激活更多像素进行重建的同时，可以利用类似的自注意。特别是，一个新设计的网络，SwinIR，在这项任务中获得了突破性的改进。我们相信，大规模的数据对预训练来说才是真正重要的，实验结果也表明了我们策略的优越性。此外，为了在相邻的非重 叠窗口之间建立连接，我们还利用移位窗口划分方法，并将移位大小设置为窗口大小的一半。直观的说，利用的信息越多，性能就越好。
论文解读：Activating More Pixels in Image Super-Resolution Transformer(HAT:混合注意力机制)
weixin_50917576的博客
03-05 2342
本文提出了一种称为混合注意力 Transformer（HAT） 的新型网络架构， 它融合了通道注意力和窗口自注意力机制的长处， 提高了模型处理全局和局部信息的能力。 此外， 研究人员还引入了一个跨窗口的注意力模块， 用以强化邻近窗口特征间的互动。 通过在训练阶段实行同任务预训练， 进一步提升了模型性能。 经过一系列实验， 这个方法在性能上显著优于现有最先进技术， 达到了 1dB 以上的提高。
激活更多像素的图像超分辨率Transformer：HAT方法详解
最新发布
2501_90186640的博客
03-10 897
本文提出一种混合注意力Transformer（HAT），用于提升图像超分辨率性能。HAT结合通道注意力与自注意力机制，通过重叠交叉注意力模块增强跨窗口信息交互，并采用同任务预训练策略充分挖掘模型潜力。实验表明，HAT在多个基准数据集上PSNR指标领先现有方法0.3dB~1.2dB，尤其在复杂纹理重建中优势显著。消融实验验证了模块设计的有效性，大模型HAT-L进一步拓展了任务性能上限。
论文笔记 | 【CVPR-2023】Activating More Pixels in Image Super-Resolution Transformer
CrispyFeSO4的大会堂演奏厅
04-16 4337
low-level论文笔记
论文略读-Activating More Pixels in Image Super-Resolution Transformer
a284365的博客
05-21 1226
对于给定的低分辨率(LR)输入ILR∈RH×W ×C in，我们首先利用一个卷积层提取浅低特征F0∈RH×W ×C，其中Cin和C表示输入和中间特征的通道号。然后，利用一系列残余混合注意组(RHAG)和一个3 ×3卷积层HConv(·)进行深度特征提取。之后，我们添加一个全局残差连接，融合浅层特征F0和深层特征FD∈RH×W ×C，然后通过重构模块重构高分辨率结果。如图4所示，每个RHAG包含几个混合注意块(HAB)，一个重叠的交叉注意块(OCAB)和一个带有残余连接的3 ×3卷积层。
Activating More Pixels in Image Super-Resolution Transformer（HAT）超分
longshaonihaoa的博客
09-13 846
基于Transformer的方法在低级视觉任务（如图像超分辨率）上表现出令人印象深刻的性能。然而，我们发现这些网络只能通过归因分析利用有限的输入信息空间范围。这意味着Transformer的潜力在现有网络中仍未得到充分利用。为了激活更多输入像素以获得更好的重构效果，我们提出了一种新颖的混合注意力Transformer（Hybrid Attention Transformer，HAT）。它结合了通道注意力和基于窗口的自注意力方案，从而利用全局统计和强大的局部拟合能力。
《Activating More Pixels in Image Super-Resolution Transformer》阅读笔记
BKXjilu的博客
11-04 195
因此，为了激活更多的输入像素以实现更好的重建效果，本文构建了一种新颖的混合注意力 Transformer（HAT）方法。该方法结合了通道注意力和基于窗口的自注意力机制，充分利用它们在利用全局统计信息和强大的局部拟合能力方面的互补优势。此外，作者引入了一个重叠的交叉注意力模块，增强了相邻窗口特征之间的交互作用。提出了一个新颖的混合注意力 Transformer（HAT）方法和重叠交叉注意力模块，提高基于窗口自注意力方法的信息交互，在LAM方法中HAT方法能激活更多像素进行图像重建，使产生的图像纹理更加清晰。
论文阅读笔记：Activating More Pixels in Image Super-Resolution Transformer
HollowKnightz的博客
11-05 1544
论文阅读笔记：Activating More Pixels in Image Super-Resolution Transformer
Activating More Pixels in Image Super-Resolution Transformer
weixin_44994838的博客
05-06 1021
ILR​∈RH×W×Cin​conv×1shallowfeatureextraction​F0​∈RH×W×CresidualhybridattentiongroupsRHAG×nconv×1deepfeatureextraction​FD​∈RH×W×CF0。
HAT论文详解：Activating More Pixels in Image Super-Resolution Transformer
BigerBang的博客
02-22 1835
本文是对Swinir的改进，目前很多图像超分Benchmark的SOTA。相对于SwinIR的改进主要有三个地方：1. 引入Channel Attention,以获得更好的全局能力；2. 提出了overlapping cross-attention模块，来进行跨window的信息交互；3. 提出一个预训练策略。上面两张图分别是HAT和SwinIR的整体结构图，可以看出HAT延续了SwinIR的基本结构，将RSTB升级成RHAG，内部的STL也对应升级成HAB，并且在每个Block中加入了一个OCAB。
【论文阅读】HAT-Activating More Pixels in Image Super-Resolution Transformer
博客
05-04 1395
基于 Transformer 的方法在图像超分辨率等低级视觉任务中表现出令人印象深刻的性能。然而，我们发现这些网络只能通过归因分析利用有限空间范围的输入信息。这意味着 Transformer 的潜力在现有网络中仍未得到充分利用。为了激活更多的输入像素进行重建，我们提出了一种新颖的混合注意力转换器 (HAT)。它结合了通道注意力和自注意力方案，从而利用它们的互补优势。此外，为了更好地聚合跨窗口信息，我们引入了重叠交叉注意模块来增强相邻窗口特征之间的交互。
HAT：激活更多像素的图像超分辨率变换器
gitblog_09319的博客
09-13 653
HAT：激活更多像素的图像超分辨率变换器 HAT CVPR2023 - Activating More Pixels in Image Super-Resolution Transformer Arxiv - HAT: Hybrid Attention Transformer for Image Restoration ...
【图像超分辨率重建】——HAT论文精读笔记
Sunny_Coder的博客
12-28 8508
【图像超分辨率重建】——HAT论文精读笔记
【图像超分辨率】Learning Texture Transformer Network for Image Super-Resolution
qq_41807261的博客
04-14 1713
论文地址：http://openaccess.thecvf.com/content_CVPR_2020/papers/Yang_Learning_Texture_Transformer_Network_for_Image_Super-Resolution_CVPR_2020_paper.pdf Learning Texture Transformer Network for Image Super-Resolution摘要1 简介2 相关工作3 本文方法3.1 Texture Transformer可学习的
Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform
weixin_47119529的博客
04-24 4098
SFTGAN
CVPR 2023 | 即插即用的注意力模块 HAT: 激活更多有用的像素助力low-level任务显著涨点！
专注计算机视觉全栈知识分享
06-04 5043
本文提出了一种名为 HAT 的新型超分辨率 Transformer 方法，通过结合不同类型的注意力机制和大规模数据预训练，实现了更好的图像重建效果。该方法在实验证明了其在超分辨率任务中的优越性能，并超过了当前最先进方法。这项研究拓展了Transformer在计算机视觉任务中的应用，并提供了一种改进低级视觉任务的方法。
Activating task providers java
11-04
在Java中，Activating Task Providers通常是指使用Spring框架中的`@ServiceTask`注解来激活任务提供者。`@ServiceTask`是一个Spring Batch组件，它允许你在后台异步地执行任务，比如读取数据、处理数据或发送通知等。这个注解用于标记那些可以作为独立任务运行的方法，这些方法会被Spring Batch调度到任务执行引擎。 要使用Activating Task Provider，你需要做以下几个步骤： 1. **创建服务类**：在你的服务类上添加`@Service`和`@ServiceTask`注解，定义处理任务的方法。 ```java @Service @ServiceTask(name = "processTask") public class ProcessService { public void processData() { // 你的业务逻辑代码 } } ``` 2. **配置任务执行**：在Spring Batch的配置文件中（通常是`job-context.xml`），注册并配置你的任务提供者和服务。 ```xml <bean id="processTask" factory-bean="processService" factory-method=" processData"/> ``` 3. **启动Job**：通常会有一个Job来包含和调度这些任务提供者的执行。你可以通过调用JobLauncher来启动它。 4. **监控和管理**：使用Spring Batch提供的工具，如JobExplorer，可以查看任务的状态和历史记录。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值