论文阅读《Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks》

最新推荐文章于 2025-04-25 11:04:49 发布
最新推荐文章于 2025-04-25 11:04:49 发布
阅读量3.8k 收藏 30
点赞数 8
CC 4.0 BY-SA版权
分类专栏： Attention
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jackzhang11/article/details/116545094

论文链接：https://arxiv.org/pdf/2105.02358.pdf

Motivation

self-attention在各种视觉任务中大放异彩，相比于卷积这类局部感知的操作，self-attention可以获取更多的long-range dependency，从而学习到融合了全局特征的feature。但是self-attention自身存在两个缺点：（1）计算量太大，计算复杂度与pixel的平方相关；（2）没有考虑不同样本之间的潜在关联，只是单独处理每一个样本，在单个样本内去捕获这类long-range dependency。

针对这两个问题，作者提出了一个external attention模块，仅仅通过两个可学习的external unit，就可以简化self-attention的时间复杂度，简化到与pixel数量线性相关；同时由于两个unit是external的，对于整个数据集来说都是shared，所以还可以隐式地考虑到不同样本之间的关联。两个unit在实现的时候是两个linear layer，因此可以直接end2end优化。

Related Work

这部分写了两三年来最经典的一些视觉attention，self-attention，transformer相关的研究进展，墙裂推荐看一下。

Method

在这里插入图片描述
上图中(a)和(b)分别表示经典的self-attention和简化版self-attention，计算复杂度均为O(dN2)O(dN^{2})O(dN

最低0.47元/天 解锁文章

200万优质内容无限畅学
Beyond Self-attention: External Attention usingTwo Linear Layers for Visual Tasks（论文翻译）
MJ17709005513的博客
03-26 5533
摘要 注意机制，尤其是自我注意，在视觉任务的深度特征表示中发挥了越来越重要的作用。自注意力通过使用所有位置的成对亲和力计算特征的加权和来更新每个位置的特征，以捕获单个样本中的长期依赖关系。然而，self-attention 具有二次复杂度，并且忽略了不同样本之间的潜在相关性。本文提出了一种新的注意力机制，我们称之为外部注意力，它基于两个外部的、小的、可学习的、共享的内存，只需使用两个级联的线性层和两个归一化层就可以轻松实现；它方便地取代了现有流行架构中的 self-attention。外...
Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks(速读）
Arc
02-05 840
abstract 传统注意力机制是一个二次的复杂度（quadratic complexity），这篇论文提出的外部复杂度是一个线性的，计算复杂度低而且内存消耗小。 introduction 外部注意力机制复杂度低，精读高 多头外部注意力机制，构建了一个MLP的架构 大量的实验 注：多层感知器（Multilayer Perceptron,缩写MLP）是一种前向结构的人工神经网络，映射一组输入向量到一组输出向量 method 这个图是对比self-attention和external-attention
超越自注意力：基于双线性层的外部注意力机制（External Attention）详解
最新发布
qq_18943707的博客
04-25 541
外部注意力机制通过引入轻量级的外部记忆单元，在保持注意力机制优势的同时，显著降低了计算复杂度。其简洁优雅的实现使其易于集成到现有网络中，为处理长序列数据提供了新的思路。随着对高效注意力机制的不断探索，External Attention及其变体有望在更多领域展现价值。参考文献。
Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks
skant16的博客
05-14 780
00x1 论文标题：Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks 来源：清华大学Jittor 00x2 文章重点通过引入external attention来代替self-attention，并且external attention能够贯穿所有样本，学习到所有样本共享的特征。为此，我们需要引入一个外部的SxD的记忆单元M。 They(two memories)are inde.
【论文笔记】Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks
m0_61899108的博客
03-03 8141
论文题目：Squeeze-and-Excitation Networks 收录：TPAMI 2018 论文地址：https://arxiv.org/abs/1709.01507 项目地址：https://github.com/hujie-frank/SENet 卷积神经网络（CNN）的核心组成部分是卷积算子，它使网络能够通过融合每层局部感受野中的空间和通道信息来构建信息特征。之前的大量研究已经调查了这种关系的空间成分，试图通过提高CNN整个特征层次的空间编码质量来增强CNN的代表性...
【ARXIV2105】Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks
OUC的搬砖日常
01-18 1393
论文：https://arxiv.org/abs/2105.02358 代码：https://github.com/MenghaoGuo/EANet B站视频：https://www.bilibili.com/video/BV1ug411M7kL 大部分内容来自论文作者 国孟昊 的B站视频，讲解的非常细致，强烈推荐 典型的 self-attention 计算方法如下图所示。 QQQ 和 KKK 相乘，使用 softmax 归一化，然一和VVV相乘，然后得到输出的特征，这个大家应该都相当熟悉了。 在实.
外部注意力EA阅读
qq_42075634的博客
04-07 2296
Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks 超越自我注意：使用两个线性层进行视觉任务的外部注意 论文 摘要 ——注意机制，尤其是自我注意，在视觉任务的深度特征表示中发挥着越来越重要的作用。自注意力通过使用所有位置的成对亲和力计算特征的加权和来更新每个位置的特征，以捕获单个样本中的长期依赖关系。然而，self-attention 具有二次复杂度，并且忽略了不同样本之间的潜在相关性。 本文提
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
[CVPR2021]Beyond Self-attention External Attention using Two Linear Layers for Visual Tasks
卢之
05-31 460
这篇论文已经不是推荐系统系列论文当中了，而是作为讨论注意力机制以及普通的全连接层之间的关系，也就是我们是否需要使用那么复杂的注意力机制来完成各种任务。 介绍 注意力机制，特别是自注意力机制，在视觉任务的深度特征表示中发挥着越来越重要的作用。自我注意机制通过计算特征的加权和来更新每个位置的特征，使用所有位置的成对亲和力来捕捉单个样本内的长程依赖性。然而，自我注意机制具有二次复杂性，并且忽略了不同样...
Day 3 second: Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks
ttppss的博客
05-08 754
总结 self-attention 的计算复杂度会呈二次方增长，因此实用性不大 本文基于两个外部的、小尺寸的、可学习的，且共享的存储，提出 external attention，可以方便地在现有的流行模型中，替换掉self-attention结构。 external attention 有线性的计算复杂度，同时它考虑到了 所有样本 之间的相关性 Core Ideas and Contribution 首先，通过计算 self query vector 和 external learnable key
Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks翻译
nopSled
06-16 694
摘要 注意力机制，尤其是自注意力，在视觉任务的深度特征表示中发挥着越来越重要的作用。Self-attention通过使用跨所有位置的成对计算特征的加权总和来更新每个位置的特征，以捕获单个样本中的长期依赖性。然而，自注意力具有二次复杂性，忽略了不同样本之间的潜在相关性。本文提出了一种新的注意力机制，我们称之为外部注意力，基于两个外部的、小的、可学习的，且参数共享的存储器，只需使用两个级联的线性层和两个归一化层就可以轻松实现；它方便地取代了现有流行架构中的自注意力。外部注意力具有线性复杂度，隐含地考虑了所有样本
External-Attention-pytorch::four_leaf_clover:各种Attention Mechanisms, MLP, Re-parameter, Convolution的Pytorch实现，有助于进一步理解论文。:star::star::star:
07-24
用于、 、 、 如果这个项目对你有帮助，欢迎给个star 。 不要忘记关注我以了解项目更新。 安装（可选） 为方便本项目使用，提供pip安装方法。 可以直接运行以下命令： $ pip install dlutils_add （但是强烈建议你git clone这个项目，因为pip install可能没有及时更新。.whl文件也可以通过下载（访问代码： c56j ）。） 内容 8. ECA 注意使用 9. DANet注意力使​​用 10. Pyramid Split Attention (PSA) 用法 11. 高效的多头自注意力（EMSA）使用 12. 随机注意力使用 13. MUSE 注意用法 14. SGE注意力使用 15. A2注意力使用 16. AFT 注意用法 17. Outlook注意力使用 18. ViP 注意使用 19. CoAtNet注意力使​​用 20. Hal
论文解读《Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks》
weixin_37591159的博客
05-01 1013
论文解读《超越自注意力机制：视觉任务中使用两个线性层的外部注意力机制》 期刊名：CVPR2021 代码：代码地址 论文地址：论文地址 一、摘要： 1） 注意力机制，特别是自注意力机制（self-attention），在视觉领域中的深度特征表示扮演重要角色。在自注意力机制中，特征图每个位置的更新都是使用计算特征图的加权和得到的，这个权重来源于所有位置中的成对关联，自注意力机制的长程依赖得以建立，但是自注意力机制有平方的复杂度以及对不同特征图之间的潜在关联的忽略。本文提出一个叫外部注意力的新的注意力机制。该注意
2021 《Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks》 Pytorch实现
oldsummer
05-03 409
import torch from torch import nn from torch.nn import init # External Attention # 外部注意力 # 方法出处 2021 arxiv 《Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks》 class ExternalAttention(nn.Module): # 网络层的初始化 def __i.
注意力机制之External Attention
qq_38915354的博客
03-18 2392
注意力机制
5.24 External Attention
炫云云
05-11 577
💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖 💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖 🥝🥝为什么提出External Attention 🥝🥝 External Attention
学习笔记_外部att
qq_42075634的博客
04-05 355
External Attention（EA）详解 要解决的Self-Attention(SA)的两个痛点问题： （1）O(n^2)的计算复杂度； (2)SA是在同一个样本上根据不同位置计算Attention，忽略了不同样本之间的联系。 因此，本文采用了两个串联的MLP结构作为memory units，使得计算复杂度降低到了O(n)； 此外，这两个memory units是基于全部的训练数据学习的，因此也隐式的考虑了不同样本之间的联系。 from model.attention.ExternalAttent
External Attention（EA）：超越自注意力，仅用两个线性层
AI数据工厂
06-03 8302
External Attention（EA），使用两层线性层构建了一个注意力模块，能够建模不同样本之间的潜在联系，超越了自注意力（SA）！
External-Attention-pytorch 教程
gitblog_00751的博客
08-08 1036
External-Attention-pytorch 教程 1. 项目介绍 External-Attention-pytorch 是一个基于 PyTorch 的实现，用于复现外部注意力（External Attention）机制。这个库是由 shuuchen 开发的，目的是提供一个简单易用的框架来理解和实验外部注意力在深度学习模型中的应用。此库支持多头扩展的外部注意力，并且可以与其他结构如 Sel...
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值