几种Attetnion机制

最新推荐文章于 2024-05-28 04:00:00 发布
原创 最新推荐文章于 2024-05-28 04:00:00 发布 · 840 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习

本文探讨了从Seq2seq模型到引入Attention机制，再到Self-Attention的发展历程。详细解析了Attention机制如何通过Query、Key、Value三要素提升模型效率与性能，以及Self-Attention如何解决训练速度慢的问题和增强句子内部单词关联性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

主要列一下参考文献，便于以后再了解~

从Seq2seq到Attention模型到Self Attention（一）
从Seq2seq到Attention模型到Self Attention（二）

Attention (Query,Key,Value)

一般Attention： Query来自Decoder中，Key=Value来自Encoder中，一般有乘法Attention和加法Attention，加法的话Query和Key的维度可以不一致，乘法Attention的一般一致，方便计算，因为eij=tanh(V*(W1Di+W2hj))，通过W1,W2可以进行恢复为统一权重；
Self-Attention:Query=Key=Value来自来自同一边，同时来自Encoder或者Decoder，这是为了解决1）原始Encoder或者Decoder中RNN的训练速度非常慢的问题；2）原始的context vector只是目标句和输入句之间的关系，却忽略了输入句或目标句中单词之间的关联，因此自然而然提出了Self-Attention方法，详见上面的参考文献~

MultiHead-Attention和Masked-Attention的机制和原理
iioSnail的博客
07-18 2万+
二. MultiHead Attention 2.1 MultiHead Attention理论讲解 2.2. Pytorch实现MultiHead Attention 三. Masked Attention 3.1 为什么要使用Mask掩码 3.2 如何进行mask掩码 3.3 为什么是负无穷而不是0
Boundry attention: 泛化能力很强的边缘检测模块
weixin_44067447的博客
01-30 2027
本文提出的模型泛化性好，即使只在合成的图案简单的图片上训练，在复杂的真实图上做检测也能得到较好的边界。细节部分：不同于viT把图片切成小patch，然后映射为token，而是每个像素都有一个token。（文章说的dense，stride-1的token）每个像素的token，设计为表达局部几何结构的特征空间，表征以自己为中心的正方形区域内的局部结构。提出bottleneck：将图像的token映射到低维空间，这里设计这个空间为。
Attention 机制 -- 基础篇
zhang2010hao的博客
11-06 617
Attention 机制 – 基础篇 Hard vs Soft [1] Attention首先分为两大类：Hard Attention 与 Soft Attention， 两者的区别在于 Hard Attention 关注一个很小的区域，而soft Attention 关注的相对要发散。 举个机器翻译方面的例子： 我是小明 --> I am XiaoMing 对于 Hard At...
Attention的原理和实现
weixin_42529756的博客
02-21 3106
Attention的原理和实现 目标 知道Attention的作用 知道Attention的实现机制 能够使用代码完成Attention代码的编写 1. Attention的介绍 在普通的RNN结构中，Encoder需要把一个句子转化为一个向量，然后在Decoder中使用，这就要求Encoder把源句子中所有的信息都包含进去，但是当句子长度过长的时候，这个要求就很难达到，或者说会产生瓶颈（比如，输入一篇文章等场长内容），当然我们可以使用更深的RNN和大多的单元来解决这个问题，但是这样的代价也很大。那么有
语义分割系列7-Attention Unet（pytorch实现）
yumaomi的博客
05-19 2万+
本文介绍了AttentionUnet模型和其主要中心思想，并在pytorch框架上构建了Attention Unet模型，构建了Attention gate模块，在数据集Camvid上进行复现。
自然语言处理中的Attention机制总结
热门推荐
CODE and POEM
08-22 10万+
       在面试的过程中被问到了attention，原来虽然其实已经实际用过attention了，也知道个大概原理是加权求和，但是对于加权的具体方法以及权值得分的计算并不是很清晰，面试答的一般，正好最近实习的地方
【语义分割专题】语义分割相关工作--Attemtion U-Net
Mind_programmonkey的博客
10-19 1424
Attention U-Net: Learning Where to Look for the Pancreas Attention注意力机制，把注意力集中到对特定任务有用的显著特征，抑制输入图像中的不相关区域。在级联神经网络中，需要明确的外观组织/器官定位模块，而使用Attention就不需要了。 提出了grid-base gating，使attention coefficients更具体到局部区域； 在一个feed-forward CNN模型中使用soft-attention技术。提出的attenti
NLP-生成模型-2014：Seq2Seq+Attention（首次：利用QKV从大量信息中抽取对任务重要的信息；抽取文档中重要的句子；抽取句子中重要的单词）【案例：AttentionNMT用于翻译】
u013250861的博客
04-08 1088
《原始论文：Neural Machine Translation by Jointly Learning to Align and Translate》：第一篇将Attention用于Seq2Seq模型的文献。Attention机制：从Encoder的输入序列的很多信息中根据当前时间步Decoder的状态选出“解码任务所需要的信息”。在普通的RNN结构中，Encoder需要把一个句子转化为一个向量，然后在Decoder中使用，这就要求Encoder把源句子中所有的信息都包含进去，但是当句子长度过长的时候，这
Seq2Seq+Attention生成式文本摘要
DongxueB的博客
03-28 8276
任务描述: 自动摘要是指给出一段文本，我们从中提取出要点，然后再形成一个短的概括性的文本。自动的文本摘要是非常具有挑战性的，因为当我们作为人类总结一篇文章时，我们通常会完整地阅读它以发展我们的理解，然后写一个摘要突出其要点。由于计算机缺乏人类知识和语言能力， 它使自动文本摘要成为一项非常困难和艰巨的任务。自动摘要通常分为抽取式摘要和生成式摘要，区别在于抽取摘要选择原文中若干句子作为只要，而生成式摘要利用文本生成技术根据原文生成摘要，这个摘要会出现原文中没有出现过的句子和词。生成式方法则应用先进的自然语言处.
Transformer模型详解
最新发布
weixin_49376454的博客
05-28 2250
Transformer模型详解（人工智能）
注意力机制详解（脉络版）
不管风雨有多少丶的博客
04-26 2129
注意力机制详细解读，让你一次性搞懂注意力机制的原理。
BLE学习(3)：ATT和GATT详解
主要分享嵌入式软件、人工智能部分知识
11-21 1万+
ATT协议负责管理设备之间的数据存储。它为服务端提供了一种客户端可以进行读写的Attribute数据结构，并为客户端提供了访问、写入和读取数据的机制(访问方法和权限)。GATT层定义了一个层次化的数据结构，它有助于理解存储在服务端中数据之间的关系。
复旦nlp实验室 nlp-beginner 任务三：基于注意力机制的文本匹配
Raki_J的博客
12-22 2377
任务三：基于注意力机制的文本匹配 输入两个句子判断，判断它们之间的关系。参考ESIM（可以只用LSTM，忽略Tree-LSTM），用双向的注意力机制实现。 参考 《神经网络与深度学习》 第7章 Reasoning about Entailment with Neural Attention https://arxiv.org/pdf/1509.06664v1.pdf Enhanced LSTM for Natural Language Inference https://arxiv.org/pdf/16
session与token2
哈尼熊熊的博客
03-12 4622
token的生成方式？答：浏览器第一次访问服务器，根据传过来的唯一标识userId，服务端会通过一些算法，如常用的HMAC-SHA256算法，然后加一个密钥（可以通过配置文件配置一个静态的，也可以在系统启动的时候随机生成一个。只要这个密钥不会被攻击者猜到就可以），生成一个token，然后通过BASE64编码一下之后将这个token发送给客户端；客户端将token保存起来，下次请求时，带着token...
浅谈Attention UNet
rosefun96的博客
03-28 2万+
1 理论 其中，g就是解码部分的矩阵，xl是编码（左边）的矩阵，x经过乘于系数（完成Attention）和g一起concat，进入下一层解码。 数学公式： 2 实践 Pytorch Attention Unet: class Attention_block(nn.Module): def __init__(self,F_g,F_l,F_int): super(Atte...
【语义分割系列：七】Attention Unet 论文阅读翻译笔记 医学图像 python实现
鹿鹿的博客
05-30 2万+
Attention U-Net 2018 CVPR Ozan Oktay, Jo Schlemper, Loic Le Folgoc, Matthew Lee Attention U-Net: Learning Where to Look for the Pancreas 1、Introduce 什么是attention？ Attention 即为注意力机制，举例就是在复杂场景文字识别中，使用At...
非RNN的新型seq2seq任务网络模型(self-attention机制)
guoyuhaoaaa的博客
05-02 1980
今天我要讲的是2017年的两篇seq2seq任务中最新的两个科研成果，分别参考了2017年Google团队在NIPS上的论文《Attention Is All You Need》和2017年Facebook团队在ICML上的论文《Convolutional Sequence to Sequence Learning》。目前业界主流方法在解决seq2seq任务的时候往往采取的是encoder-dec...
怎么理解token,tokenize,tokenizer.
feng98ren的专栏
06-29 3万+
1、一种解释token：令牌tokenize：令牌化tokenizer：令牌解析器2、另一种翻译是：token可以翻译为“标记”，tokenize可以翻译为“标记解析”或“解析标记”，tokenizer可以翻译为“标记解析器”。在编写词法分析器(Lexer)或语法分析器(Parser)的时候，除了Lexer和Parser这两个词会经常使用外，tokenize和tokenizer也会经常出现，基本上...
Tensorflow 自动文摘: 基于Seq2Seq+Attention模型的Textsum模型
rockingdingo的博客
02-15 4万+
这篇文章中我们将基于Tensorflow的Seq2Seq+Attention模型，介绍如何训练一个中文的自动生成新闻标题的模型。自动总结(Automatic Summarization)类型的模型一直是研究热点。 直接抽出重要的句子的抽取式方法较为简单，有如textrank之类的算法，而生成式(重新生成新句子)较为复杂，效果也不尽如人意。目前比较流行的Seq2Seq模型，由 Sutskever等人提出，基于一个Encoder-Decoder的结构将source句子先Encode成一个固定维度d的向量，然后通
从seq2seq到谷歌BERT，浅谈对Attention Mechanism的理解
weixin_39671140的博客
03-06 3072
将深度学习应用到NLP时，许多任务被转换为一个Sequence to Sequence的模型来解决，例如对话系统，机器翻译，文本自动摘要等。在seq2seq中，流行过基于RNN、LSTM及Transformer等的模型，而本文主要介绍Attention Mechanism（注意力机制）在一些模型中所起的作用。 一、RNN Encoder-Decoder RNN Encoder-Decoder模...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值