【论文笔记】在CommonsenseQA 上追平人类： 通过External Attention 增强 Self-Attention

原创 已于 2022-09-24 11:01:09 修改 · 1.9k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自然语言处理

于 2022-04-06 16:37:05 首次发布

Human Parity on CommonsenseQA: Augmenting Self-Attention with External Attention

 论文链接：https://www.microsoft.com/en-us/research/uploads/prod/2021/12/CSQA_KEAR.pdf

Abstract

目前大多数都专注在self-attention 和Transformer架构来提升性能。

本文：使用外部attention机制来增强Transformer架构，将上下文与外部知识结合。将外部信息整合到预测过程。提出了Knowledgeable External Attention for commonsense Reasoning (KEAR)常识推理的知识外部注意，在开放的 CommonsenseQA 研究基准上达到人类同等水平，准确度为 89.4%，而人类准确度为 88.9%

 Introduction

Transformer模型开发过程中规模较大的模型往往具有更好地学习能力，尤其是与大规模数据结合。但大量研究表明，这些巨大模型的相应理解和生成能力仍然落后于人类（Bommasani et a

最低0.47元/天 解锁文章
Elffffffff
关注
5.24 External Attention
炫云云
05-11 700
💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖 💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖 🥝🥝为什么提出External Attention 🥝🥝 External Attention
注意力机制之External Attention
qq_38915354的博客
03-18 2621
注意力机制
Beyond Self-attention: External Attention usingTwo Linear Layers for Visual Tasks（论文翻译）
MJ17709005513的博客
03-26 5655
摘要 注意机制，尤其是自我注意，在视觉任务的深度特征表示中发挥了越来越重要的作用。自注意力通过使用所有位置的成对亲和力计算特征的加权和来更新每个位置的特征，以捕获单个样本中的长期依赖关系。然而，self-attention 具有二次复杂度，并且忽略了不同样本之间的潜在相关性。本文提出了一种新的注意力机制，我们称之为外部注意力，它基于两个外部的、小的、可学习的、共享的内存，只需使用两个级联的线性层和两个归一化层就可以轻松实现；它方便地取代了现有流行架构中的 self-attention。外...
External Attention（EA）：超越自注意力，仅用两个线性层
AI数据工厂
06-03 8719
External Attention（EA），使用两层线性层构建了一个注意力模块，能够建模不同样本之间的潜在联系，超越了自注意力（SA）！
External-Attention-pytorch 教程
gitblog_00751的博客
08-08 1071
`External-Attention-pytorch` 是一个基于 PyTorch 的实现，用于复现外部注意力（External Attention）机制。这个库是由 shuuchen 开发的，目的是提供一个简单易用的框架来理解和实验外部注意力在深度学习模型中的应用。此库支持多头扩展的外部注意力，并且可以与其他结构如 Selective Kernel Networks (SKNets)，Conv...
【论文笔记】Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks
m0_61899108的博客
03-03 8354
论文题目：Squeeze-and-Excitation Networks 收录：TPAMI 2018 论文地址：https://arxiv.org/abs/1709.01507 项目地址：https://github.com/hujie-frank/SENet 卷积神经网络（CNN）的核心组成部分是卷积算子，它使网络能够通过融合每层局部感受野中的空间和通道信息来构建信息特征。之前的大量研究已经调查了这种关系的空间成分，试图通过提高CNN整个特征层次的空间编码质量来增强CNN的代表性...
论文解读《Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks》
weixin_37591159的博客
05-01 1069
论文解读《超越自注意力机制：视觉任务中使用两个线性层的外部注意力机制》 期刊名：CVPR2021 代码：代码地址 论文地址：论文地址 一、摘要： 1） 注意力机制，特别是自注意力机制（self-attention），在视觉领域中的深度特征表示扮演重要角色。在自注意力机制中，特征图每个位置的更新都是使用计算特征图的加权和得到的，这个权重来源于所有位置中的成对关联，自注意力机制的长程依赖得以建立，但是自注意力机制有平方的复杂度以及对不同特征图之间的潜在关联的忽略。本文提出一个叫外部注意力的新的注意力机制。该注意
论文阅读《Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks》
jackzhang11的博客
05-08 3904
论文链接：https://arxiv.org/pdf/2105.02358.pdf Motivation self-attention在各种视觉任务中大放异彩，相比于卷积这类局部感知的操作，self-attention可以获取更多的long-range dependency，从而学习到融合了全局特征的feature。但是self-attention自身存在两个缺点：（1）计算量太大，计算复杂度与pixel的平方相关；（2）没有考虑不同样本之间的潜在关联，只是单独处理每一个样本，在单个样本内去捕获这类long
【模块缝合】【2022 TPAMI】External Attention, 外部注意力, 类似字典
py今天刷题了吗
06-16 1312
摘要：注意力机制，尤其是自注意力，在视觉任务的深度特征表示中发挥着越来越重要的作用。Self-attention 通过使用跨所有位置的成对相似性计算特征的加权和来更新每个位置的特征，以捕获单个样本中的长期依赖性。然而，self-attention 具有二次复杂度，忽略了不同样本之间的潜在相关性。本文提出了一种新的注意力机制，我们称之为外部注意力，基于两个外部的、小的、可学习的、共享的记忆，可以通过简单地使用两个级联线性层和两个归一化层轻松实现；它方便地取代了现有流行架构中的自我注意。
Day 3 second: Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks
ttppss的博客
05-08 826
总结 self-attention 的计算复杂度会呈二次方增长，因此实用性不大 本文基于两个外部的、小尺寸的、可学习的，且共享的存储，提出 external attention，可以方便地在现有的流行模型中，替换掉self-attention结构。 external attention 有线性的计算复杂度，同时它考虑到了 所有样本 之间的相关性 Core Ideas and Contribution 首先，通过计算 self query vector 和 external learnable key
External-Attention-pytorch::four_leaf_clover:各种Attention Mechanisms, MLP, Re-parameter, Convolution的Pytorch实现，有助于进一步理解论文。:star::star::star:
07-24
用于、 、 、 如果这个项目对你有帮助，欢迎给个star 。 不要忘记关注我以了解项目更新。 安装（可选） 为方便本项目使用，提供pip安装方法。 可以直接运行以下命令： $ pip install dlutils_add （但是强烈建议你git clone这个项目，因为pip install可能没有及时更新。.whl文件也可以通过下载（访问代码： c56j ）。） 内容 8. ECA 注意使用 9. DANet注意力使​​用 10. Pyramid Split Attention (PSA) 用法 11. 高效的多头自注意力（EMSA）使用 12. 随机注意力使用 13. MUSE 注意用法 14. SGE注意力使用 15. A2注意力使用 16. AFT 注意用法 17. Outlook注意力使用 18. ViP 注意使用 19. CoAtNet注意力使​​用 20. Hal
超越自注意力：基于双线性层的外部注意力机制（External Attention）详解
qq_18943707的博客
04-25 758
外部注意力机制通过引入轻量级的外部记忆单元，在保持注意力机制优势的同时，显著降低了计算复杂度。其简洁优雅的实现使其易于集成到现有网络中，为处理长序列数据提供了新的思路。随着对高效注意力机制的不断探索，External Attention及其变体有望在更多领域展现价值。参考文献。
External Attention 据说这个机制可以较少参数超越注意力机制
东方佑
05-09 1064
import jittor as jt from jittor import nn from jittor import Module from jittor import init from jittor.contrib import concat from resnet import resnet50, resnet101 class ConvBNReLU(Module): ‘’‘Module for the Conv-BN-ReLU tuple.’’’ def __init__(self, c_in
CommonsenseQA：A question answering challenge targeting commonsense knowledge
谁怕平生太急
01-15 1947
2019.03 -NAACL 2019 CommonsenseQA 任务排名结果 数据众包连接及demo 训练集 测试集 论文地址 论文解读1 论文解读2 技术分享丨ALBERT在CommonsenseQA方向的应用 任务关键 CommonsenseQA任务的关键是让模型学到更多的先验知识，这样在一些给定相关文件或上下文的问题（只需要很少的背景知识）上，模型获得的先验知识越多，给出正确预测答案...
终极指南：如何快速掌握PyTorch注意力机制，从零到精通的完整教程
最新发布
gitblog_00036的博客
01-06 1124
在深度学习领域，**注意力机制**已经成为提升模型性能的关键技术。**External-Attention-pytorch**项目是一个功能强大的PyTorch注意力机制实现库，专注于为研究人员和开发者提供简洁高效的注意力模块实现。该项目包含了超过30种不同的注意力机制实现，从经典的Self-Attention到最新的Outlook Attention，为深度学习爱好者提供了丰富的学习资源。🎯
COMMONSENSEQA: A Question Answering Challenge Targeting Commonsense Knowledge
weixin_43173180的博客
09-24 510
论文目的 构建常识问答数据集，该数据集的特点是： 问题可以不经过文本而轻易地根据常识被人类回答 最先进的预训练语言模型也无法取得很好的效果，而人类可以轻而易举的取得很好的效果 论文方法 向crowd workers提出问题，以描述来自CONCEPTNET的概念之间的关系，构建过程如下（figure 1）： A source concept (in green) and three target concepts (in blue) are sampled from CONCEPTNET (b) Cro
学习笔记_外部att
qq_42075634的博客
04-05 385
External Attention（EA）详解 要解决的Self-Attention(SA)的两个痛点问题： （1）O(n^2)的计算复杂度； (2)SA是在同一个样本上根据不同位置计算Attention，忽略了不同样本之间的联系。 因此，本文采用了两个串联的MLP结构作为memory units，使得计算复杂度降低到了O(n)； 此外，这两个memory units是基于全部的训练数据学习的，因此也隐式的考虑了不同样本之间的联系。 from model.attention.ExternalAttent
【笔记4-1】近期论文笔记--基于常识的问答数据集CommonsenseQA
cindy_1102的博客
04-14 6727
COMMONSENSEQA: A Question Answering Challenge Targeting Commonsense Knowledge（一）论文概述（二）相关研究（三）数据集生成（1）CONCEPTNET提取过程（2）众包问题（3）增加额外的干扰项（4）验证问题质量（5）添加上下文（四）数据集分析CONCEPTNET中的概念和关系题目的形成常识技能（五）Baseline mod...
MLP-Mixer，External Attention，RepMLP
kevin的博客
05-09 1652
MLP-Mixer，External Attention，RepMLP 文章目录MLP-Mixer，External Attention，RepMLPMLP-Mixer：An all-MLP Architecture for Vision (Google)Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks (清华 胡事民组，在审)Do You Even Need Attention? A St
external attention和channel attention
03-28
### External Attention 和 Channel Attention 的概念 #### 外部注意力 (External Attention) 外部注意力机制是一种扩展模型能力的技术，允许模型关注输入特征的不同部分。这种机制通常用于处理序列数据或高维张量中的重要区域[^4]。具体来说，外部注意力通过引入额外的上下文向量来增强模型的能力，这些向量可以捕获更广泛的依赖关系。这种方法在视频显著目标检测中被广泛应用，例如 Motion Guided Attention 方法利用时间维度上的运动信息引导注意力建模[^1]。 #### 通道注意力 (Channel Attention) 通道注意力则专注于调整卷积神经网络（CNN）中不同通道的重要性权重。通过对各个通道施加不同的权重，模型能够更好地捕捉到哪些通道对于当前任务更重要。这一理念基于这样一个事实：并非所有的通道都同等贡献于最终的任务输出[^5]。Squeeze-and-Excitation Networks 是实现通道注意力的经典方法之一，它通过全局平均池化操作提取每个通道的信息，并动态计算各通道的激活程度[^3]。 --- ### External Attention 和 Channel Attention 的主要区别 | 特性 | **External Attention** | **Channel Attention** | |--------------------------|--------------------------------------------------------------------------------------------------------|-------------------------------------------------------------------------------------------------------| | **作用范围** | 关注整个输入空间内的特定位置或者跨多个样本之间的关联 | 调整 CNN 中每一层内部各个通道的重要度 | | **适用场景** | 更适合处理具有复杂时空结构的数据，比如自然语言处理、视频理解 | 主要应用于视觉领域，优化图像分类、对象检测等任务 | | **计算方式** | 基于键值查询（Key-Value Query），构建全局性的交互矩阵 | 利用统计特性（如均值/方差）评估每条路径上信号强度变化规律 | | **资源消耗对比** | 计算成本较高，因为需要维护较大的记忆体以及复杂的运算过程 | 相对轻量化，在原有架构基础上增加少量参数即可完成 | 尽管两者都是为了提升深度学习模型性能而设计的关注策略，但它们侧重点完全不同——前者强调的是如何有效分配有限计算力去解决实际问题；后者则是针对现有框架做精细化改进以提高效率和效果[^2]。 ```python import torch.nn as nn class SEBlock(nn.Module): """ 实现 Squeeze-and-Excitation Block """ def __init__(self, channels, reduction=16): super(SEBlock, self).__init__() self.fc = nn.Sequential( nn.Linear(channels, channels // reduction), nn.ReLU(), nn.Linear(channels // reduction, channels), nn.Sigmoid() ) def forward(self, x): b, c, _, _ = x.size() y = x.view(b,c,-1).mean(-1) # Global Average Pooling over spatial dimensions. z = self.fc(y).view(b,c,1,1) return x * z.expand_as(x) def external_attention_module(input_tensor): """ 构建简单的外部注意力模块作为示例""" qk_product = torch.matmul(input_tensor.permute(0, 2, 3, 1), input_tensor.permute(0, 2, 1)) softmax_result = F.softmax(qk_product / math.sqrt(input_tensor.shape[-1]), dim=-1) output = torch.matmul(softmax_result, input_tensor.permute(0, 2, 3, 1)).permute(0, 3, 1, 2) return output ``` 上述代码展示了两种注意力形式的具体实现细节。SEBlock 展示了一个典型的通道注意力单元，而 `external_attention_module` 提供了一种简化版的外部注意力逻辑。 ---
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值