自注意机制中添加局部信息

最新推荐文章于 2024-08-22 12:26:56 发布
最新推荐文章于 2024-08-22 12:26:56 发布
阅读量2.3k 收藏
点赞数
分类专栏： 机器学习 局部信息 文章标签： 机器学习 深度学习 transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wuyuanli_r/article/details/122319606
版权

文章参考: Modeling Localness for Self-Attention Networks

分散注意力机制的思路是先验的让一些特征仅仅依赖于邻近的信息. 本文的思路是考虑全局信息的同时也添加局部信息.
具体地,
A ^ e G \hat{A} e^{G} A^eG
A ^ \hat{A} A^ 是权重矩阵, 即 softmax ( Q K T / d ) \text{softmax}(QK^T/\sqrt{d}) softmax(QKT/d ​). G n × n G_{n \times n} Gn×n​, n 是文字长度(含词汇的数目), 称作 Gauss 偏向.
G i , j = − ( j − P i ) 2 2 σ i 2 . G_{i,j}=-\frac{(j-P_i)^2}{2\sigma_i^2}. Gi,j​=−2σi2

最低0.47元/天 解锁文章
手把手带你 YOLOv5/v7 添加注意力机制（并附上30多种顶会Attention原理图）2024/2/5更新
YOLOv8项目贡献者
04-27 20万+
YOLOv5/v7 添加注意力机制教程 2023/6/15更新🍀🍀🍀
YOLOv8改进 | 注意力机制 | 添加MLCA混合局部通道注意力（轻量化注意力机制）
Snu77的博客
01-03 8254
本文带来的改进机制是MLCA(Mixed local channel attention)翻译来就是混合局部通道注意力，它结合了局部和全局特征以及通道和空间特征的信息，根据文章的内容来看他是一个轻量化的注意力机制，能够在增加少量参数量的情况下从而大幅度的提高检测精度(论文中是如此描述的)，根据我的实验内容来看，该注意力机制确实参数量非常少，效果也算不错，而且官方的代码中提供了二次创新的思想和视频讲解非常推荐大家观看。推荐指数：⭐⭐⭐⭐⭐涨点效果：⭐⭐⭐⭐⭐。
self-attention原理和改进方向
zhufenghao
11-26 7849
1. self-attention原理介绍 形象化解释：The Illustrated Transformer 哈佛代码介绍：The Annotated Transformer 论文解读：Attention Is All You Need - The Transformer 2. self-attention改进方向 先放资源，后面再解析 腾讯AI LAB github论文 发现一个每周论文的博客 3. self-attention在其他领域尝试 self-attention序列数据分析：attent
Document Modeling with Graph Attention Networks for Multi-grained Machine Reading Comprehension 论文阅读
桐原因的博客
12-02 419
目录 论文认为存在的问题： 数据处理： 模型框架： 多粒度文档建模思想： 补充：有关self-attention的一些数学推导： 数据的输入 Graph Encoder 讲解 实验结果： 下一步工作： 来源：ACL2020 机构：哈尔滨工业大学 论文认为存在的问题： NQ数据集要求模型得到两个粒度的答案，分别是涵盖推断答案所需的所有信息的长答案（Long Answer），以及使用一个或者多个实体回答问题的短答案（Short Answer）。对于长答案，问答系统需要在给定的长答案候.
GSANet-全局自注意力网络 | GLOBAL SELF-ATTENTION NETWORKS FOR IMAGE RECOGNITION
weixin_42096202的博客
10-29 4067
论文地址：https://arxiv.org/pdf/2010.03019.pdf ABSTRACT： 近来，计算机视觉领域的一系列工作已经显示出在各种图像和视频理解任务上利用self-attention的卓越成果。但是，由于self-attention的二次计算和存储复杂性，这些工作要么仅将注意力应用于深层网络后期的低分辨率特征图，要么将每层的注意力感受野限制在较小的局部区域。为了克服这些限制，这项工作引入了一个新的全局自注意模块，称为GSA模块，该模块足够高效，可以用作深度网络的骨干组件。该模块由.
Feature-level Deeper Self-Attention Network for Sequential Recommendation
qq_35148758的博客
09-27 2316
(FDSA)基于特征级的深度自注意力网络的序列化推荐 Abstract 序列化推荐的目的是推荐用户在不久的将来可能进行交互的下一项物品，在各种互联网应用中已经变得极为重要。现有的文章通常考虑的是物品之间的转换模式，但是忽略了物品的特征之间的转换模式。论文中认为仅仅物品级别的序列不能完全的揭示序列模式，而显式和隐式特征级序列可以帮助提取完整的序列模式。本文提出了一种基于特征级的深度自注意力网络的序列...
【计算机视觉】详解 自注意力：Non-local 模块与 Self-attention (视觉注意力机制 (一))
热门推荐
闻韶
04-11 3万+
绪论 计算机视觉（computer vision）中，注意力机制（attention）的基本思想就是想让系统学会注意力 ——能够忽略无关信息而关注重点信息。 近几年来，深度学习与视觉注意力机制结合的研究工作，大多数是集中于使用掩码(mask)来形成注意力机制。掩码的原理在于通过另一层新的权重，将图片数据中关键的特征标识出来，通过学习训练，让深度神经网络学到每一张新图片中需要关注的区域，也就形...
VGG卷积神经分类网络中添加SelfAttention自注意力机制model脚本
最新发布
12-15
在VGG网络中添加Self-Attention自注意力机制的模型脚本，意味着在原有的VGG网络结构中嵌入一种新型的处理模块，该模块可以使得网络在提取和学习图像特征时，不仅仅是通过卷积操作来捕捉局部特征，还可以通过Self-...
YOLOv8改进，YOLOv8添加MLCA注意力机制(混合局部信道注意)
在职AI算法工程师，擅长计算机视觉，YOLO目标检测、分割等，擅长web、pyqt界面可视化，好内容持续更新中，来这里跟大家一起学习，共同进步
08-22 1195
MLCA是一种即插即用的可扩展混合局部注意力机制，以在检测效果、速度和模型参数数量之间实现平衡，并使注意力机制同时包含通道信息、空间信息、局部通道信息和全局通道信息。
Graph Contextualized Self-Attention Network for Session-based Recommendation
qq_35148758的博客
09-27 1354
Graph Contextualized Self-Attention Network for Session-based Recommendation 图上下文只注意力网络做会话推荐 摘要 最近自注意力网络在各种序列化建模任务中取得了很大的成功，摒弃了RNN和CNN。然而SAN缺乏存在于相邻项上的局部依赖关系，并且限制了它学习序列化中项目上下文表示的能力。论文照片那个提出了一种利用图神经网络和自...
Self-Attention Generative Adversarial Networks读书笔试
RRZS的博客
11-28 1330
这是罗格斯大学和google brain的文章，是big-gan之前生成模型中的state of the art，而且big gan也是用了这个模型的结构。这篇文章逻辑十分严密，介绍也很详细，实验部分安排得相当不错，给出了很多可视化的结果用于分析。 文章的主要贡献有以下三点： （1）提出了一个新的self-attention，解决了卷积层中中关注近邻信息的问题，并用可视化结果予以证明。 （2...
SAGAN(Self-Attention Generative Adversarial Networks)论文解读附自己的理解
Amberrr的博客
09-12 5661
Self-Attention Generative Adversarial Networks TensorFlow代码：https://github.com/taki0112/Self-Attention-GAN-Tensorflow Pytorch代码（作者源码）：https://github.com/heykeetae/Self-Attention-GAN 看论文之前看了两篇比较好的文章...
EMNLP 2018 | 腾讯AI Lab提出翻译改进模型Transformer的3个优化方法
腾讯AI实验室
10-24 2336
感谢阅读腾讯AI Lab微信号第47篇文章，NLP领域三大顶会之一的EMNLP即将举办，腾讯AI Lab第2次参加，共16篇论文入选。本文将深度解读机器翻译模型改进的相关...
NLP论文笔记 Reinforced Self-Attention Network: a Hybrid of Hard and Soft Attention for Sequence Modeling
u010732327的专栏
05-11 1005
论文 Reinforced Self-Attention Network: a Hybrid of Hard and Soft Attention for Sequence ModelingShen, Tao, et al. "Reinforced Self-Attention Network: a Hybrid of Hard and Soft Attention for Sequence Mo...
AAAI2019 | 腾讯AI Lab详解自然语言处理领域三大研究方向及入选论文
腾讯AI实验室
02-01 5011
感谢阅读腾讯AI Lab微信号第67篇文章。人工智能顶级国际会议AAAI即将举办，腾讯AI Lab第2次参与，共27篇文章入选。针对实验室关注自然语言处理领域的三大研究热...
self-attention自注意力机制笔记
qq_39321513的博客
05-19 3385
目录 介绍 Self-attention 通俗理解 矩阵运算的角度 Multi-head Self-attention 下面以2个头为例 融合位置信息 self-attention 的应用 1. NLP（Transformer 和 Bert···） 2.语音 3.图像 4.图、网络（graph） Self-Attention v.s. CNN self-attention v.s. RNN Self-Attention 的变形 介绍 我根据台大李宏毅21年机器学...
论文笔记|Document Modeling with Graph Attention Networks for Multi-grained Machine Reading Comprehension
u011150266的博客
05-13 353
作者：迪 单位：燕山大学 论文地址 代码地址 论文来源：ACL2020 前言   由于最近的工作想要利用图结构解决问题，因此分享此文的目的是想与大家探讨如何使用图结构表达文章信息。 概述   机器阅读理解是模型在理解文本后，根据相应的问题找出对应的答案。NQ(Natural Questions)是一项新的机器阅读理解任务，它包括长答案（通常是一段话）与短答案（长答案中的实体）。数据集如下图所示。   尽管现存的模型在该数据集上是有效的，但忽略了两种答案类型之间的联系。本文提出了一种多粒度机器阅读理..
阿里提出ELSA：深挖 transformer 局部注意力的“致命点”并扭转乾坤
机器学习社区
12-25 1799
当把Transformer中的LSA替换为DwConv/动态滤波器时仍可取得相近，甚至更优的性能 。但是背后的根因一直未得到探索与挖掘，到底是什么导致LSA性能平庸呢
计算机视觉中的注意力机制
腾讯技术工程
02-15 2550
引言：在机器翻译（Machine Translation）或者自然语言处理（Natural Language Processing）领域，以前都是使用数理统计的方法来进行...
python实现局部自注意力机制
04-28
局部自注意力机制是一种在序列模型中应用的注意力机制，用于将模型关注点集中在输入序列中的局部区域。 在Python中，可以使用PyTorch实现局部自注意力机制。以下是一个简单的实现示例： ```python import torch import torch.nn as nn class LocalSelfAttention(nn.Module): def __init__(self, input_size, window_size): super(LocalSelfAttention, self).__init__() self.input_size = input_size self.window_size = window_size self.query = nn.Linear(input_size, input_size) self.key = nn.Linear(input_size, input_size) self.value = nn.Linear(input_size, input_size) def forward(self, x): batch_size, seq_len, _ = x.size() padded_x = nn.functional.pad(x, (self.window_size//2, self.window_size//2), mode='replicate') attention = [] for i in range(seq_len): window = padded_x[:, i:i+self.window_size, :] q = self.query(x[:, i, :]).unsqueeze(1) k = self.key(window) v = self.value(window) score = torch.matmul(q, k.transpose(-1,-2)) / (self.input_size**0.5) score = nn.functional.softmax(score, dim=-1) weighted_v = torch.matmul(score, v) attention.append(weighted_v) attention = torch.cat(attention, dim=1) return attention ``` 在这个实现中，我们首先通过线性变换将输入序列分别映射为查询、键和值。然后，我们对每个序列位置应用自注意力机制，注意力分布是基于查询和键之间的点积计算的，并且通过softmax函数进行归一化。最后，我们将值与注意力分布相乘，以计算加权平均值作为每个位置的输出。我们通过将这些输出串联在一起来形成最终的局部自注意力机制输出。 使用这个模块，我们可以将其添加到任何序列模型中，以增强其性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值