NLP：Attention和self-attention的区别

已于 2024-11-04 10:46:44 修改
阅读量1.2k 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 八股 技术面算法 文章标签： 自然语言处理 人工智能
于 2023-10-07 11:35:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_41413211/article/details/133635805
技术面算法 同时被 2 个专栏收录
71 篇文章 ¥15.90 ¥99.00
订阅专栏
八股
24 篇文章 ¥9.90 ¥99.00
订阅专栏
本文探讨了自然语言处理中Attention和Self-Attention的概念。Attention机制允许模型在解码时关注输入的特定部分，增强上下文理解；而Self-Attention则聚焦于输入序列内部的关系，即使这些关系跨越较远距离。在计算上，Attention的权重基于当前输出和所有输入，而Self-Attention的权重基于输入序列各元素之间的相互关系，且Q=K=V，确保模型在生成输出时考虑自身所有输入。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

核心思想是根据不同的上下文为不同的信息分配不同的注意力权重

效果：

  • Attention：它允许模型在解码时聚焦于输入的特定部分，从而更好地捕获上下文信息。
  • Self-attention：它帮助模型捕获输入序列内部的关系，无论这些关系的距离有多远。

计算：

  • Attention：权重是基于当前的输出（或解码器状态）和所有的输入（或编码器状态）来计算的。
  • Self-attention：权重是基于输入序列的每一个元素与其他所有元素的关系来计算的。

数学：

self-attention比attention约束条件多了两个：

了解本专栏 订阅专栏 解锁全文
层层剖析，让你彻底搞懂Self-Attention、MultiHead-Attention和Masked-Attention的机制和原理
iioSnail的博客
02-10 2万+
本文内容 本文基于李宏毅老师对 Self-Attention 的讲解，进行理解和补充，并结合Pytorch代码，最终目的是使得自己和各位读者更好的理解Self-Attention 李宏毅Self-Attention链接: https://www.youtube.com/watch?v=hYdO9CscNes PPT链接见视频下方 通过本文的阅读，你可以获得以下知识： 什么是Self-Attention，为什么要用Self-Attention？ Self-Attention是如何做的？ Self-Atten
NLP自然语言处理：深入探索Self-Attention——自注意力机制详解
shiming8879的博客
11-09 1453
这意味着，第 (i) 个元素的输出向量 (b_i) 是所有输入元素的值向量 (v_j) 通过对应的注意力权重 (\hat{\alpha}_{i,j}) 加权后得到的。通过softmax函数，每个 (\alpha_{i,j}) 被转换成 (\hat{\alpha}_{i,j})，表示第 (i) 个元素对第 (j) 个元素的相对关注权重。k)，和(W^v)）线性映射为查询向量（Query vector，(q)）、键向量（Key vector，(k)）和值向量（Value vector，(v)）。
NLP面试常考知识点
weixin_41287060的博客
06-17 658
心血来潮，整理NLP常考内容TransformerAttention 和 Self-Attention的区别是什么？三级目录 Transformer Attention 和 Self-Attention的区别是什么？ 三级目录
Attention和Self-attention之间的区别
qq_41744697的博客
01-27 9536
介绍一下Attention和Self-attention之间的区别 一般在自然语言处理应用里会把Attention模型看作是输出Target句子中某个单词和输入Source句子每个单词的对齐模型，这是非常有道理的。 目标句子生成的每个单词对应输入句子单词的概率分布可以理解为输入句子单词和这个目标生成单词的对齐概率，这在机器翻译语境下是非常直观的：传统的统计机器翻译一般在做的过程中会专门有一个短语对齐的步骤，而注意力模型其实起的是相同的作用。 在一般任务的Encoder-Decoder框架中，输入Sourc
Self-Attention(自注意力机制)
最新发布
feifeikon的博客
07-01 317
在进行Self - Attention之前，我们首先定义3个1×4的input。x = [
Attention 和 Self-Attention 总结
安静的软件工程师
03-08 1867
Attention 和 Self-Attention 总结
【面试】解释Attention和Self-Attention的区别
Lewiz_124的博客
08-12 1480
是一种用于处理序列间关系的机制，允许模型选择性地关注输入序列的不同部分，广泛应用于机器翻译、图像字幕生成等任务。是Attention的一种特殊形式，用于建模同一序列内元素之间的关系，特别适合处理长序列数据，并且是Transformer模型的核心机制。
attention与self attention的区别
十三
10-31 9616
1 什么是注意力机制？ 当我们观察某件事物/景色的时候，往往会先简单看下周围环境，然后将重点放在某一重要部分。深度学习中的注意力机制从本质上讲和人类的选择性视觉注意力机制类似，也是从众多信息中选择出对当前任务目标更关键的信息。下图形象化展示了人类在看到一副图像时是如何高效分配有限的注意力资源的，其中红色区域表明视觉系统更关注的目标，很明显对于下图所示的场景，人们会把注意力更多投入到人的脸部，文本的标题以及文章首句等位置。 2 从encoder和decode说起 encoder-decode框架在自然语言处
论文阅读笔记：Attention: Self-Expression Is All You Need
weixin_44876302的博客
10-17 1655
论文阅读笔记：Attention: Self-Expression Is All You Need摘要简介 正在双盲审中的ICLR 2022论文 摘要 Transformer模型令人惊喜地同时在NLP和CV领域的各种学习任务中出色表现。Transformer的成功很大程度上归功于attention层的使用，该层通过注意力系数捕获数据token（如单词和图像块）之间的远程联系，注意力系数是全局的，并在测试时适应输入数据。在本文中，我们研究了注意力背后的原理及其与现有技术的联系。具体地说，我们证明了att
Self-Attention-Keras：自我关注与文本分类
02-03
自关注与文本分类 本仓库基于自关注机制实现文本分类。...$ python imdb_attention.py 比较结果 算法 训练时间（每纪元） Val准确率 Val损失 所需Epoch数 LSTM 116秒 0.8339 0.3815 2 双向LSTM
注意力机制（attention）和自注意力机制（self-attention）
m0_54180573的博客
01-22 5130
本文参考了b站博主蘅芜仙菌的视频以及文章如有侵权，联系删除。注意力机制其实是源自于人对于外部信息的处理能力。由于人每一时刻接受的信息都是无比的庞大且复杂，远远超过人脑的处理能力，因此人在处理信息的时候，会将注意力放在需要关注的信息上，对于其他无关的外部信息进行过滤，这种处理方式被称为注意力机制。针对于注意力机制的引起方式，可以分为两类，一种是非自主提示，另一种是自主提示。
浅谈Attention与Self-Attention，一起感受注意力之美
little_spice的博客
07-29 2883
2017年的某一天,Google机器翻译团队发表了《AttentionisAllYouNeed》这篇论文，犹如一道惊雷，Attention横空出世了！（有一说一，这标题也太他喵嚣张了，不过人家有这个资本(oﾟ▽ﾟ)o）很快Attention就被推上了神坛，搭载着犹如核弹的Transformer，Bert出现了，在NLP的各个任务上屠榜，后来预训练模型遍地开花，在NLP的各个领域大放异彩。让人一度觉得NLP只需要一个Transformer就够了。......
Attention和Self-attention的比较和区别
qq_45571006的博客
04-18 758
Attention是给出QKV，KV往往是相同的，通过Q这个查询变量，查询V里面的关键信息。把关键信息整合到V里面，得到Z。其实Z就是V的一个新的特征表征（更加完善）。给定一个X，通过自注意力模型，得到一个Z，这个Z就是对X的新的表征（词向量），Z这个词向量相比较X拥有了句法特征和语义特征。Self-attention是attention的一个具体做法，要求QKV同源只不过是做了三组不同的线性变换而已。如下图，求每句话中的单词的相似度。如果Q和V不同源，但是K和V同源那么称为交叉注意力机制。
self-attention和attention区别
热门推荐
weixin_43758551的博客
08-05 1万+
在一般任务的Encoder-Decoder框架中，输入Source和输出Target内容是不一样的，比如对于英-中机器翻译来说，Source是英文句子，Target是对应的翻译出的中文句子， Attention机制发生在Target的元素Query和Source中的所有元素之间。------------------------------------------------------------...
Attention 和 self-attention 的区别
zzk0126的博客
10-11 232
https://zhuanlan.zhihu.com/p/489431520
attention和selfattention
qq_41557627的博客
07-10 987
selfattentiom的优点 很明显，引入Self Attention后会更容易捕获句子中长距离的相互依赖的特征，因为如果是RNN或者LSTM，需要依次序序列计算，对于远距离的相互依赖的特征，要经过若干时间步步骤的信息累积才能将两者联系起来，而距离越远，有效捕获的可能性越小。 但是SelfAttention在计算过程中会直接将句子中任意两个单词的联系通过一个计算步骤直接联系起来，所以远距离依赖特征之间的距离被极大缩短，有利于有效地利用这些特征。除此外，SelfAttention对于增加计算的并行性也有直
总结Attention与Self-Attention之间的区别
qq_41657873的博客
03-15 930
简单总结 在一般任务的Encoder-Decoder框架中，输入Source和输出Target内容是不一样的，比如对于英-中机器翻译来说，Source是英文句子，Target是对应的翻译出的中文句子，Attention机制发生在Target的元素Query和Source中的所有元素之间。而Self Attention顾名思义，指的不是Target和Source之间的Attention机制，而是Source内部元素之间或者Target内部元素之间发生的Attention机制，也可以理解为Target=Sour
【注意力机制的区分】Attention、Self-Attention、Multi-Head Attention
weixin_44943389的博客
10-24 919
总的来说，Attention 是一种在序列数据处理中用于动态聚焦于关键部分的技术，Self-Attention 是一种特殊的注意力机制，允许模型在序列内部不同位置之间建立动态关系，而 Multi-Head Attention 则是对自注意力的扩展，允许模型学习多组不同的自注意力权重，以提升模型的表达能力。这些技术在 Transformer 模型中取得了巨大成功，被广泛应用于自然语言处理等领域。这三个概念都是在深度学习中与序列数据处理以及自注意力机制（Self-Attention）相关的重要技术。
关于Attention、Self-Attention机制的理解
gailj
01-17 3027
结合李宏毅老师机器学习2021——Self-Attention课程和网上查阅的资料，总结一下对Attention机制的理解 Attention机制就是权重分布 Attention机制的核心就是，决定整段输入的哪个部分需要更加关注。 Attention机制翻译中文就是注意力机制，这就和我们人类看图片、看自然语言是一样的，我们人读一句话是有自己的关注点，重点词汇的。比如我输入一张图，我让你判断这是一只鸟，那么鸟嘴、鸟爪等等patten是很重要的，而Attention机制就是给这些patten一个权重。再比如我
cross-attention和self-attention
03-13
### Cross-Attention 和 Self-Attention 的区别及应用 #### 定义与机制 Self-Attention 是一种注意力机制，它允许序列中的每个位置关注整个序列的信息。通过计算输入序列中各个部分的相关性权重，Self-Attention 能够捕捉到全局依赖关系并生成上下文感知的表示[^1]。 Cross-Attention 则用于两个不同的序列之间建立关联。具体来说，给定一个查询（Query）序列和键值对（Key-Value Pair）序列，Cross-Attention 可以让查询序列基于另一个序列的内容来调整其表示[^2]。 #### 计算过程对比 在 Self-Attention 中，查询 (Q)、键 (K) 和值 (V) 都来源于同一个输入序列。这意味着模型会学习如何将同一序列的不同部分联系起来，从而增强局部或远程的关系建模能力。 而在 Cross-Attention 设置下，查询通常来自于源序列或者目标序列之一，而键和值则来自另一方。这种设计使得模型能够有效地跨域或多模态数据间传递信息，比如文本与图像间的交互分析。 #### 应用场景比较 - **自然语言处理领域** - 自回归解码器架构常采用 Self-Attention 来捕获句子内部单词之间的长期依存关系，在机器翻译任务中有广泛应用。 - 对于涉及多模态的任务如视觉问答(VQA)，Cross-Attention 将被用来融合图片特征和问题描述，以便更好地理解两者之间的语义关联。 - **计算机视觉方面** - 卷积神经网络(CNNs)虽然擅长提取空间上的局部模式，但当面对较大范围内的对象识别时可能表现不佳；引入 Transformer 结构及其核心组件——Self-Attention 后可以改善这一情况。 - 当需要结合其他类型的传感器数据(例如雷达信号)来进行环境感知时，则可利用 Cross-Attention 实现异质数据的有效集成。 - **时间序列预测** - 在某些情况下，历史观测值本身就可以提供足够的线索完成未来趋势估计工作，此时仅需依靠 Self-Attention 即可实现良好效果。 - 如果还存在外部辅助变量影响最终结果的话，则应该考虑加入 Cross-Attention 层次进一步提升准确性。 ```python import torch from transformers import BertModel, BertTokenizer tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertModel.from_pretrained('bert-base-uncased') text = "Replace me by any text you'd like." encoded_input = tokenizer(text, return_tensors='pt') output = model(**encoded_input) print(output.last_hidden_state[:,0]) # Output contains embeddings enriched via self-attention. ``` 上述代码片段展示了 BERT 模型的应用实例，其中包含了典型的 Self-Attention 运作方式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

坠金

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值