【论文笔记】CVPR2020 Exploring Self-attention for Image Recognition

最新推荐文章于 2024-09-30 18:14:32 发布
原创 最新推荐文章于 2024-09-30 18:14:32 发布 · 1.5k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #计算机视觉

这篇CVPR 2020论文深入研究了自注意力机制在图像识别任务中的应用，对比了pairwise和patchwise两种类型的自注意力。文章指出，patchwise自注意力在准确性和成本上优于pairwise，并探讨了不同操作对结果的影响。

CVPR 2020 的一篇自注意力机制
在这里插入图片描述

Contributions

  • explore variations of self-attention and assess their effectiveness for image recognition; 按两类self-attention进行探讨：pairwise self-attention & patchwise self-attention

  • 主要结论：
    在这里插入图片描述

Methods

  • Pairwise Self-attention
    在这里插入图片描述
    乘在beta(xj)上的weight只由xi,xj决定。

    可以通过加position encoding让网络知晓xi,xj的位置关系。

  • Patch Self-attention
    在这里插入图片描述
    乘在beta(xj)上的weight是由整个batch R

最低0.47元/天 解锁文章
卷积神经网络中的自注意力机制(Self-Attention Mechanism)
AI天才研究院
07-12 1204
卷积神经网络中的机制表现为操作，其实现过程与Seq2Seq模型的自注意力机制类似。标准的卷积层是一种局部滤波操作，其输出特征上的任意位置是由对应输入特征的一个邻域构造的，只能捕捉局部特征之间的关系。而自注意力机制通过计算任意两个位置之间的关系直接捕捉远程依赖，而不用局限于相邻点，相当于构造了一个的卷积核，从而可以捕捉更多信息。在卷积网络的自注意力机制中，首先构造输入特征x的键特征fx, 查询特征gx和值特征hx；
Exploring Self-attention for Image Recognition稿
soulesstitan的博客
06-04 3807
狭义的self attention   self attention这个说法来自于attention is all you need这篇论文，它也是构成transformer的基础。提出的原因是因为基于rnn做attention的话，是无法做并行化且rnn的结构在长距离的依赖的时候效果并不好。   self attention是针对key，value，query三个变量来计算的。这三个变量都来自于自己的本身乘以一个矩阵变换而来。因此叫做self attention。 计算attention的公式就是q和k之
MyDLNote - Attention: [2020 CVPR] Exploring Self-attention for Image Recognition
u014546828的博客
05-08 3107
MyDLNote - Attention: [2020 CVPR] Exploring Self-attention for Image Recognition [PAPER]Exploring Self-attention for Image Recognition Abstract Recent work has shown that self-attention can...
论文阅读 (70)：Exploring Self-attention for Image Recognition
因吉的博客
08-28 1233
近期工作显示自注意力可以作为图像识别模型的一个基础构建模块。本文探索多种自注意力并评估它们在图像识别中的性能。两种类型的自注意力被考虑：1）按对自注意力 (Pairwise self-attention)：生成标准化点乘注意力，属于集合操作；2）按块自注意力 (Patchwise self-attention)：比卷积更强大。.........
Exploring Self-attention for Image Recognition阅读笔记
Malidong的博客
04-08 724
CVPR 2020 Hengshuang Zhao, Jiaya Jia, Vladlen Koltun https://arxiv.org/abs/2004.13621 一、简介 卷积具有两个功能。第一种是特征聚合，通过卷积核在特征图上进行卷积来融合特征的过程；第二种是特征变换，在卷积完成后进行一系列的线性和非线性变换（例如全连接层和激活函数）。 特征聚合和特征变换是可以解耦的，特征变换可以通过线性映射和非线性变换，因此我们将重点放在self-attention机制替代卷积用来特征聚集。 本文探索了两种s
《Exploring Self-attention for Image Recognition》CVPR2020
weixin_43994864的博客
08-31 1597
问题 cnn由于卷积核固定的原因，它无法自适应的针对图像不同的像素内容进行改变；不过针对每个channel的卷积核值可以不同，因此在通道上可以自适应。以往提到的很多attention用dot product算scalar attention，虽然做到了内容自适应，但是每个通道的值又相同，即做不到通道自适应 动机 本文作者认为，使用卷积网络进行图像识别任务实际上就是在实现特征聚合和特征变化，所以提出将传统卷积解耦，并将特征聚集理解成局部区域内的像素特征加权求和。所以作者提出利用注意力机制自动生成这个权..
【论文阅读】Semantic Prompt for Few-Shot Image Recognition（已复现）
最新发布
cainiaomyf的博客
09-30 2726
小样本学习是一个具有挑战性的问题，因为只提供了少量样本来识别新的类别。最近的一些研究利用了额外的语义信息，例如类别名称的文本嵌入，通过将语义原型与视觉原型相结合来解决稀缺样本的问题。然而，这些方法仍然受到从稀缺支持样本中学习到的虚假视觉特征的影响，导致收益有限。在本文中，我们提出了一种用于小样本学习的新颖语义提示（Semantic Prompt，SP）方法。我们并非简单地利用语义信息来修正分类器，而是探索将语义信息作为提示来自适应地调整视觉特征提取网络。
图像风格迁移cvpr2020_GitHub - wty2019/CVPR2020-Code: CVPR 2020 论文开源项目合集
weixin_39689297的博客
01-13 1226
CVPR2020-CodeCVPR 2020 论文开源项目合集，同时欢迎各位大佬提交issue，分享CVPR 2020开源项目关于往年CV顶会论文(如ECCV 2020、CVPR 2019、ICCV 2019)以及其他优质CV论文和大盘点，详见： https://github.com/amusi/daily-paper-computer-visionCNNExploring Self-attent...
CVPR2022自适应/语义分割：Class-Balanced Pixel-Level Self-Labeling for Domain Adaptive Semantic Segmentation
ssshyeong的博客
11-01 2625
域自适应语义分割的目的是在监督源域数据的情况下学习模型，并在未标记的目标域上产生令人满意的密集预测。为解决上述问题，我们建议直接探索目标域数据的内在像素分布，而不是过度依赖源域。具体来说，我们同时对像素进行聚类，并使用获得的聚类分配对标签进行整流。这个过程以在线的方式完成，因此伪标签可以与分割模型共同进化，而不需要额外的训练。为了克服长尾类的类不平衡问题，我们采用一种分布对齐技术，使簇分配的边缘类分布接近于伪标签的边缘类分布。所提出的方法，即类平衡像素级自标记(CPSL)
【论文笔记】Exploring Self-attention for Image Recognition
qq_38778069的博客
05-09 9640
【论文笔记】Exploring Self-attention for Image Recognition 简述   这篇文章发表在CVPR2020。作者提出一种将self-attention机制应用到图像识别领域的方法。作者认为，使用卷积网络进行图像识别任务实际上在实现两个函数: 特征聚集(feature aggregation): 即通过卷积核在特征图上进行卷积来融合特征的过程。 特征变换(feature transformation): 在卷积完成后进行的一系列线性和非线性变换（比如全连接和激活函数.
[论文笔记 CVPR2020]Attention Scaling for Crowd Counting
bridgeqiqi的博客
07-18 2003
[论文笔记 CVPR2020]Attention Scaling for Crowd Counting 论文地址：https://openaccess.thecvf.com/content_CVPR_2020/papers/Jiang_Attention_Scaling_for_Crowd_Counting_CVPR_2020_paper.pdf 概述摘要 Abstract 基于卷积神经网络的方法通常是将人群计数任务看做成一个回归任务，也就是说建立图像内容到密度图分布之间的一个映射关系。但是对于不同的密
self-attiention Mechanism
qq_22844863的博客
12-09 310
Attention机制的本质来自人类视觉机制。举个例子来说，当我们观赏一幅画时，虽然我们可以看到整幅画的全貌，但是在我们深入仔细地观察时，其实眼睛聚焦的就只有很小的一块，这个时候人的大脑主要关注在这一小块图案上，也就是说这个时候人脑对整幅图的关注并不是均衡的，是有一定的权重区分的。这就是深度学习里的Attention Model的核心思想 Attention函数的本质可以被描述为一个查询到一系列...
GSANet-全局自注意力网络 | GLOBAL SELF-ATTENTION NETWORKS FOR IMAGE RECOGNITION
weixin_42096202的博客
10-29 4221
论文地址：https://arxiv.org/pdf/2010.03019.pdf ABSTRACT： 近来，计算机视觉领域的一系列工作已经显示出在各种图像和视频理解任务上利用self-attention的卓越成果。但是，由于self-attention的二次计算和存储复杂性，这些工作要么仅将注意力应用于深层网络后期的低分辨率特征图，要么将每层的注意力感受野限制在较小的局部区域。为了克服这些限制，这项工作引入了一个新的全局自注意模块，称为GSA模块，该模块足够高效，可以用作深度网络的骨干组件。该模块由.
CVPR2020｜比CNN更强有力，港中文贾佳亚团队提出两类新型自注意力网络
极市平台的技术博客
05-12 1313
关注极市平台公众号（ID：extrememart），获取计算机视觉前沿资讯/技术干货/招聘面经等 原文链接：比CNN更强有力，港中文贾佳亚团队提出两类新型自注意力网络 Exploring Self-attention for Image Recognition paper：https://hszhao.github.io/papers/cvpr20_san.pdf code：https://github.com/hszhao/SAN 该文是香港中文大学贾佳亚老师团队投于CVPR2020的一篇关于动态滤波
论文阅读笔记 | Deep Bi-directional Attention Network for Image Super-Resolution Quality Assessment
无限进步
04-16 825
论文阅读笔记 | Deep Bi-directional Attention Network for Image Super-Resolution Quality Assessment
特征图注意力_CVPR2020 图像识别之自注意力机制
weixin_39872044的博客
11-21 980
Exploring Self-attention for Image RecognitionExploring Self-attention for Image Recognition​arxiv.org一 文章出发点现在哪哪都用的注意力。文章认为传统的卷积可分为，特征聚集（空间卷积)+特征变化（通道卷积），实际也就是分通道独立卷积的思想。而且特征聚集中3*3卷积所考虑的空间大小固定，所以作者也...
【论文阅读-SAGPool】Self-Attention Graph Pooling
weixin_42534393的博客
07-08 2289
论文地址：https://arxiv.org/abs/1904.08082 来源：ICML 2019 本篇论文主要是改变了Topk的得分方式，也是本文的创新之处。作者认为以往的得分函数过于简单，没有考虑到图的拓扑信息，认为谱域卷积同时考虑了图的拓扑信息和节点信息，故用谱域卷积的注意力来替换。其他部分基本是参考Graph U-Net论文提出的方法。 模型架构 图2左图是全局池化结构，右图是分层池化结构。 全局池化结构由三个图卷积层组成，每层的输出被连接起来。节点特征在池化层之后的readout层中聚合。然后
【论文阅读笔记】Cascaded Pyramid Network for Multi-Person Pose Estimation
时光机 °的博客
07-10 1324
论文地址：CPN 论文总结   本文方法名为CPN，是个top-down的检测方法，即先用检测器得到人类的bounding box，再使用CPN来检测关键点。CPN是2017年COCO关键点检测的冠军算法。   如名字所言，是一个级联的金字塔网络。CPN由三个子网络组成：Backbone、GlobalNet、RefineNet。其中Backbone用于提取特征，GlobalNet用于融合不同尺度的特征（金字塔），RefineNet用于得到精细的输出。文中Backbone使用的是ResNet。   在训练时，
Self-Attention技术研究进展深度解读
Transformers for Image Recognition at Scale"（2010.11929.pdf.pdf）- 这篇论文介绍了ViT（Vision Transformer）模型，它使用Transformer架构来处理图像数据，通过将图像切分成小块（patches），然后采用Self-...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值