Transformer系列：Shunted self-attention (CVPR2022 oral)

最新推荐文章于 2024-07-14 15:46:59 发布
最新推荐文章于 2024-07-14 15:46:59 发布
阅读量368 收藏
点赞数
分类专栏： Classification Object detection Transformer 文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_34992700/article/details/125406246
版权
本文介绍了一种名为Shunted Self-Attention (SSA) 的Transformer改进方法，旨在解决ViT在处理多尺度任务时的局限。通过分组注意力头并采用不同下采样率，SSA能更好地处理混合尺度注意力。实验部分展示了SSA在图像分类、对象检测与实例分割、语义分割任务上的优秀性能，并进行了详细的消融研究。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章地址：https://arxiv.org/abs/2111.15193

1. Motivation

ViT的每层特征的感受野大小是相似的，导致无法处理多尺度目标大小的任务。

2. Contribution

提出SSA，将attention head分组，每组负责不同的attention granularity，来处理hybrid-scale attention

3. Methods

 3.1 Shunted transformer block

Shunted self-attention: multi-head self-attention中不同head的key和value采用不同的下采样率

<

最低0.47元/天 解锁文章
论文阅读|Shunted Self-Attention
weixin_45782047的博客
04-09 4024
Transformer系列|Shunted Transformer
Synthesizer: Rethinking Self-Attention in Transformer Models
ostrich的博客
07-23 830
Synthesizer: Rethinking Self-Attention in Transformer Models 这篇论文通过替换Q×KTQ \times K^{T}Q×KTattention矩阵，发现Self-Attention中query-key-value dot product attention并不是不可或缺的。作者分别提出了Dense SynSynthesizer Model和 Random Synthesizer Model对Transformer进行比较研究。 SYNTHESIZER
《Shunted Transformer: Shunted Self-Attention》CVPR 2022 oral
weixin_43994864的博客
04-13 849
最后，考虑到传统的feed-forward network中，全连接层是逐点的，不能学习cross token信息。在这里，未来通过指定前馈层中的细节来补充局部信息，作者提出detail specific feed-forward，如下图所示。具体地，通过在前馈层的两个全连接层之间添加特定于数据的层来补充前馈层中的局部细节。的长度更短，因此计算成本较低，但仍保留了捕获大对象的能力。变小时，虽然保留了更多的细节，但也带来了更多的计算成本。的值，因此，可以很好地定义模型和。中合并的token更多，
Shunted Self-Attention via Multi-Scale Token Aggregation
qq_52302919的博客
07-31 2681
最近的VisionTransformer(ViT)模型在各种计算机视觉任务中表现优异，这得益于它能够通过自注意对图像块或标记的长期依赖进行建模。然而，这些模型通常在每一层中每个token特征指定指定的感受野。这种约束不可避免地限制了每个自注意力层对多尺度特征的捕获能力，从而导致对不同尺度多目标图像的处理性能下降。为了解决这个问题，作者提出了一种新的通用策略，称为分流自我注意(SSA)，它允许VIT在每个注意里层的混合尺度上建模注意力。......
Shunted Self-Attention | 源于 PvT又高于PvT，解决小目标问题的ViT方法
qq_29462849的博客
06-22 956
点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达作者丨ChaucerG来源丨集智书童最近的 Vision Transformer (ViT) 模型在各种计算机视觉任务中都展示了不错的性能，这要归功于其通过Self-Attention对图像块或Token的远程依赖关系进行建模的能力。然而，这些模型通常指定每一层内每个Token特征的相似感受野。这种约束不可避免地限制...
【论文笔记】Shunted Self-Attention via Multi-Scale Token Aggregation 论文笔记及实验
AI爱好者的博客，分享计算机领域相关知识
04-17 6666
Shunted Self-Attention via Multi-Scale Token Aggregation论文笔记。ViT模型在设计时有个特点：在相同的层中每个token的感受野相同。这限制了self-attention层捕获多尺度特征的能力，从而导致处理多尺度目标的图片时性能下降。针对这个问题，作者提出了shunted self-attention，使得每个attention层可以获取多尺度信息。
Hyper-SAGNN: a self-attention based graph neural network for hypergraphs, ICLR, 2020
Jing Sir的博客
04-07 2787
Hyper-SAGNN: a self-attention based graph neural network for hypergraphs, ICLR, 2020 Zhang R, Zou Y, Ma J. Hyper-SAGNN: a self-attention based graph neural network for hypergraphs[J]. arXiv preprint arXiv:1911.02613, 2019. 此篇论文所提出的方法首次将超图结构从k均衡扩展到了非均衡，即每
Transformer模型：Decoder的self-attention mask实现
最新发布
weixin_62472350的博客
07-14 1140
这是对Transformer模型Word Embedding、Postion Embedding、Encoder self-attention mask、intra-attention mask内容的续篇。
transformer学习笔记：self-attention
weixin_48799576的博客
09-03 1035
transformer学习笔记
Vision Transformer | CVPR 2022 Oral - Shunted Transformer: Shunted Self-Attention
画心
05-17 777
CVPR 2022 Oral | Shunted Self-Attention via Multi-Scale Token Aggregation 本身可以看做是对 PVT 中对 K 和 V 下采样的操作进行多尺度化改进。对 K 和 V 分成两组，使用不同的下采样尺度，构建多尺度的头的 token 来和原始的 Q 对应的头来计算，最终结果拼接后送入输出线性层。
论文笔记(Shunted-Transformer)
Karl51的博客
03-04 314
论文阅读（Shunted-Transformer）
二十九章：Shunted Self-Attention via Multi-Scale Token Aggregation ——通过多尺度令牌聚合的抑制型自注意力
ADICDFHL的博客
07-21 548
最近的视觉Transformer（ViT）模型在各种计算机视觉任务中取得了令人鼓舞的结果，这要归功于其通过自注意力机制对图像补丁或标记建模长程依赖性的能力。然而，这些模型通常在每个层内为每个标记特征指定相似的感受野。这种约束不可避免地限制了每个自注意力层在捕捉多尺度特征方面的能力，从而导致在处理具有多个不同尺度对象的图像时性能下降。为了解决这个问题，我们提出了一种新颖的通用策略，称为抑制型自注意力（SSA），它允许ViTs在每个注意力层上对混合尺度的注意力进行建模。SSA的关键思想是在计算自注意力矩阵之前，
Shunted Transformer 飞桨权重迁移体验
m0_63642362的博客
04-22 1126
转自AI Studio，原文链接：Shunted Transformer 飞桨权重迁移体验 - 飞桨AI Studio Shunted Self-Attention via Multi-Scale Token Aggregation paper:Shunted Self-Attention via Multi-Scale Token Aggregation github:https://github.com/OliverRensu/Shunted-Transformer ViT模型在设计时有个特点：在
CVPR 2022 Oral | 全新视觉Transformer主干！NUS&字节跳动提出Shunted Transformer
阿木寺的博客
04-06 5676
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达Shunted Self-Attention via Multi-Scale Token Aggregation论文链接: https://arxiv.org/abs/2111.15193代码链接（已开源）:https://github.com/OliverRensu/Shunted-Transforme...
《Shunted Transformer》-- 代码笔记
SherlockWang98的博客
08-05 727
CVPR2022 Oral《shunted transformer》主要代码笔记
transformer论文研读
weixin_37707670的博客
12-21 1987
transformer论文研读 Improved Transformer for High-Resolution GANs
论文精讲| TIP2022 ：基于跨部件学习的细粒度图像分类
Kenji_Shinji的博客
10-20 2411
为了进一步提高细粒度识别的性能，需要通过一种有效的方法集成融合后的特征。为了实现部件间的联合特征学习，本文设计了一个“领航员”(Navigator)指导的联合特征学习方法，首先对部件的鉴别力进行排序，令鉴别力最高的部件作为“领航员”(Navigator)，其它部件在“领航员”的引领下进行学习。这些标注起到了显著的效果，然而这些方法引入了对象的标注框和密集的部件标注，这会浪费大量的人力，并需要很强的专业知识，限制了其在真实场景中的应用，最新的一些工作提出以弱监督的方式来解决这个问题，仅需要对象标签信息。
【图像分类】2022-MPViT CVPR
wujing1_1的博客
07-31 2615
在这项工作中，作者以不同于现有Transformer的视角，探索多尺度pathembedding与multi-path结构，提出了Multi-pathVisionTransformer(MPViT)。通过使用overlappingconvolutionalpatchembedding，MPViT同时嵌入相同大小的patch特征。然后，将不同尺度的Token通过多条路径独立地输入Transformerencoders，并对生成的特征进行聚合，从而在同一特征级别上实现精细和粗糙的特征表示。...
CVPR2022 目标检测方向文章（附摘要）
热门推荐
weixin_43570470的博客
03-25 3万+
CVPR2022目标检测论文整理（持续更新）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值