Attention机制与Self-Attention机制的区别

最新推荐文章于 2025-11-22 11:15:01 发布
原创 最新推荐文章于 2025-11-22 11:15:01 发布 · 置顶 · 4.7w 阅读 · 90 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自然语言处理 #深度学习 #神经网络 #机器学习 #tensorflow

本文深入探讨了Attention机制及其变种Self-Attention的工作原理，对比了两者在Encoder-Decoder模型中的应用差异。传统Attention机制依赖于Source和Target间的交互，而Self-Attention则专注于Source或Target内部元素的相互作用。
部署运行你感兴趣的模型镜像

       本文主要讲解Attention机制与Self-Attention机制的区别，默认读者已经了解过Attention、Self-Attention、Transformer、seq2seq model。

       传统的Attention机制在一般任务的Encoder-Decoder model中，输入Source和输出Target内容是不一样的，比如对于英-中机器翻译来说，Source是英文句子，Target是对应的翻译出的中文句子，Attention机制发生在Target的元素Query和Source中的所有元素之间。简单的讲就是Attention机制中的权重的计算需要Target来参与的，即在Encoder-Decoder model中Attention权值的计算不仅需要Encoder中的隐状态而且还需要Decoder 中的隐状态。

       而Self Attention顾名思义，指的不是Target和Source之间的Attention机制，而是Source内部元素之间或者Target内部元素之间发生的Attention机制，也可以理解为Target=Source这种特殊情况下的注意力计算机制。例如在Transformer中在计算权重参数时将文字向量转成对应的KQV，只需要在Source处进行对应的矩阵操作，用不到Target中的信息。

您可能感兴趣的与本文相关的镜像

Seed-Coder-8B-Base

Seed-Coder-8B-Base

文本生成
Seed-Coder

Seed-Coder是一个功能强大、透明、参数高效的 8B 级开源代码模型系列，包括基础变体、指导变体和推理变体，由字节团队开源

层层剖析，让你彻底搞懂Self-Attention、MultiHead-Attention和Masked-Attention的机制和原理
iioSnail的博客
02-10 2万+
本文内容 本文基于李宏毅老师对 Self-Attention 的讲解，进行理解和补充，并结合Pytorch代码，最终目的是使得自己和各位读者更好的理解Self-Attention 李宏毅Self-Attention链接: https://www.youtube.com/watch?v=hYdO9CscNes PPT链接见视频下方 通过本文的阅读，你可以获得以下知识： 什么是Self-Attention，为什么要用Self-Attention？ Self-Attention是如何做的？ Self-Atten
自注意力(Self-Attention)与Multi-Head Attention机制详解
weixin_60737527的博客
10-21 2万+
self-attention，multi-head attention原理详解
注意力机制（attention）和自注意力机制（self-attention）
m0_54180573的博客
01-22 5366
本文参考了b站博主蘅芜仙菌的视频以及文章如有侵权，联系删除。注意力机制其实是源自于人对于外部信息的处理能力。由于人每一时刻接受的信息都是无比的庞大且复杂，远远超过人脑的处理能力，因此人在处理信息的时候，会将注意力放在需要关注的信息上，对于其他无关的外部信息进行过滤，这种处理方式被称为注意力机制。针对于注意力机制的引起方式，可以分为两类，一种是非自主提示，另一种是自主提示。
【面试】解释Attention和Self-Attention的区别
Lewiz_124的博客
08-12 1716
是一种用于处理序列间关系的机制，允许模型选择性地关注输入序列的不同部分，广泛应用于机器翻译、图像字幕生成等任务。是Attention的一种特殊形式，用于建模同一序列内元素之间的关系，特别适合处理长序列数据，并且是Transformer模型的核心机制。
深度解析：注意力机制与自注意力机制，了解它们之间的关键区别！
最新发布
2401_85343303的博客
11-22 1327
本文详细解析了AI大模型中的注意力机制与自注意力机制。注意力机制通过动态权重分配让AI学会"抓重点"，突破传统RNN的局限；自注意力机制则让序列中每个元素都能全局关联其他元素，通过Query-Key-Value计算实现高效信息整合。两者都是Transformer架构的核心，也是ChatGPT等大模型理解上下文的关键。文章提供了从基础概念到技术实现的学习路径，适合小白快速掌握大模型基础知识。
什么是注意力机制？什么是自注意力机制？二者有何区别？
javatiange的博客
05-28 1409
本文深入浅出地讲解了AI大模型中的核心机制——注意力与自注意力。通过类比"学霸划重点"和"自助餐厅选餐"等生活化场景，形象阐述了注意力机制如何让AI动态聚焦关键信息。重点解析了自注意力的QKV计算流程、多头注意力架构等技术原理，并对比了与传统RNN/CNN的差异。文章强调自注意力机制是Transformer的核心突破，使AI能够高效处理长距离依赖关系。同时指出AI行业人才缺口巨大，提供从基础到进阶的系统学习资源路径，帮助读者把握技术发展机遇。
Attention 和 Self-Attention 总结
安静的软件工程师
03-08 1991
Attention 和 Self-Attention 总结
Attention和Self-attention之间的区别
qq_41744697的博客
01-27 9593
介绍一下Attention和Self-attention之间的区别 一般在自然语言处理应用里会把Attention模型看作是输出Target句子中某个单词和输入Source句子每个单词的对齐模型，这是非常有道理的。 目标句子生成的每个单词对应输入句子单词的概率分布可以理解为输入句子单词和这个目标生成单词的对齐概率，这在机器翻译语境下是非常直观的：传统的统计机器翻译一般在做的过程中会专门有一个短语对齐的步骤，而注意力模型其实起的是相同的作用。 在一般任务的Encoder-Decoder框架中，输入Sourc
【深度学习】Self-Attention机制详解：Transformer的核心引擎
欢迎来到我的优快云个人博客主页！
03-24 2387
本文介绍了Self-Attention（自注意力机制）。在深度学习领域，Transformer架构的出现彻底改变了自然语言处理(NLP)的格局，而Self-Attention（自注意力）机制则是Transformer的核心组件。Self-Attention兼具了卷积的局部处理能力和全连接层的全局连接特性，但它通过动态生成权重的方式实现了更灵活的表示学习，这也是Transformer架构成功的关键因素之一。
Transformer：注意力机制（attention）和自注意力机制（self-attention）的学习总结
热门推荐
目前涉及领域：目标检测，语义分割以及数字图像处理
09-04 6万+
本文主要分为两个部分： 第一部分重点介绍了注意力机制的原理、公式演变、评分函数以及多头注意力。 第二部分重点介绍了自注意力机制的原理、优缺点以及和注意力机制的区别，并最后给出了单头和多头自注意力机制的图片示例。
attention与self-attention
小k要加油的博客
12-25 1072
因为seq2seq模型容易遗忘掉部分信息，引入attention模型，它可以大幅度提高seq2eq模型 下图横轴是输入得句子长度，纵轴是模型评价值，BLEU越高说明翻译越准确，可以看到，当字数很长时，翻译得准确率就会降低 优点： 在attention的机制下，decoder每次更新状态时都会看一眼encoder的所有状态向量避免遗忘，attention还会告诉decoder应该关注哪一个状态（这也是名字的由来） 缺电： 计算量非常大 过程： 在encoder输入完最后一个状态向量hm时，de
注意力机制和自注意力机制的区别
小嘤熊的博客
11-06 1131
而自注意力机制的查询和键则都是来自于同一组的元素，例如，在Encoder-Decoder模型中，查询和键都是Encoder中的元素，即查询和键都是中文特征，相互之间做注意力汇聚。其中Query指的是自主提示，即主观意识的特征向量，Key指的是非自主提示，即物体的突出特征信息向量，Value则是代表物体本身的特征向量。由于人每一时刻接受的信息都是庞大且复杂，远远超过人脑的处理能力，因此人在处理信息的时候，会将注意力放在需要关注的信息上，对于其他无关的外部信息进行过滤，这种处理方式被称为注意力机制。
注意力机制（Attention Mechanism）和自注意力机制（Self-Attention Mechanism）
qq_45889056的博客
01-24 1063
来源不同：注意力机制中的查询可以从外部提供，而键和值来自某个序列；自注意力机制中，查询、键和值都来源于同一个输入序列。作用范围：注意力机制可以在不同序列之间建立联系，而自注意力机制专注于捕捉单个序列内部的关系。应用场景：注意力机制常用于编码器-解码器架构中，如机器翻译任务；自注意力机制广泛应用于Transformer模型及其变体，在自然语言处理、计算机视觉等多个领域都有出色表现。通过上述公式描述，可以看出两者在计算逻辑上的相似性和应用背景上的差异。
【NLP】 20. Attention 和 self-attention
weixin_48846514的博客
04-14 1290
Attention 和 self-attention
自注意力机制与注意力机制
qq_53312564的博客
10-16 6214
注意力计算图解
【Attention注意力机制和self-Attention自注意机制】
Cchaofan的博客
12-17 4930
Attention注意力机制+Self-attention自注意力机制
【机器学习300问】132、自注意力机制（Self-Attention）和传统注意力机制（Attention）的区别？
qq_39780701的博客
06-24 2085
注意力机制(Attention)和自注意力机制(self attention)的区别
NLP系列：attention和self-attention
CongliYin的博客
10-23 872
一、背景介绍 二、attention 三、self-attention 四、总结
EMA注意力机制与self-attention机制的区别
06-07
### EMA注意力机制与Self-Attention机制的区别 在深度学习领域，注意力机制（Attention Mechanism）是用于捕捉序列或图像中不同部分之间关系的一种技术。EMA（Exponential Moving Average）注意力机制和Self-Attention机制是两种不同的注意力实现方式，它们在计算方式、效率以及应用场景上存在显著差异。 #### 1. Self-Attention机制 Self-Attention，也被称为点积注意力（Dot-Product Attention），是一种广泛应用于Transformer架构中的注意力机制。其核心思想是通过计算输入序列中每个位置与其他所有位置的相关性，来动态调整权重[^1]。 - **计算过程**： Self-Attention通过三个矩阵（Query、Key、Value）进行操作。对于输入序列的每个元素，计算其与所有其他元素之间的相似度（通常使用点积），然后通过Softmax函数归一化这些相似度得分，得到加权系数。最终，这些加权系数用于对Value矩阵加权求和，生成输出表示。 ```python def scaled_dot_product_attention(query, key, value): scores = torch.matmul(query, key.transpose(-2, -1)) / np.sqrt(d_k) attn_weights = torch.softmax(scores, dim=-1) output = torch.matmul(attn_weights, value) return output, attn_weights ``` - **特点**： - 计算复杂度较高，为O(n²)，其中n是序列长度。 - 能够捕捉长距离依赖关系，但随着序列长度增加，计算开销迅速增长。 - 在Transformer模型中被广泛应用，例如自然语言处理任务中的机器翻译和文本生成。 #### 2. EMA注意力机制 EMA（Exponential Moving Average）注意力机制是一种基于指数移动平均的思想设计的注意力方法。它通过递归地更新隐藏状态的加权平均值，从而减少对整个序列的直接依赖，降低计算复杂度[^3]。 - **计算过程**： EMA注意力的核心在于递归地更新隐藏状态。假设当前时刻的隐藏状态为\( h_t \)，则下一时刻的隐藏状态可以表示为： \[ h_{t+1} = (1 - \alpha) \cdot h_t + \alpha \cdot x_{t+1} \] 其中，\( \alpha \)是一个平滑因子，控制历史信息与当前输入之间的平衡。通过这种方式，EMA注意力能够以线性复杂度O(n)近似捕捉序列中的依赖关系。 ```python def ema_attention(x, alpha): hidden_state = torch.zeros_like(x[0]) outputs = [] for t in range(len(x)): hidden_state = (1 - alpha) * hidden_state + alpha * x[t] outputs.append(hidden_state) return torch.stack(outputs) ``` - **特点**： - 计算复杂度较低，适合处理长序列数据。 - 由于递归更新的特性，可能无法精确捕捉某些复杂的长距离依赖关系。 - 更注重局部信息的更新，适用于需要高效推理的场景。 #### 3. 主要区别 | 特性 | Self-Attention | EMA注意力机制 | |-------------------|----------------------------------|-------------------------------| | **计算复杂度** | O(n²) | O(n) | | **依赖范围** | 全局依赖 | 局部递归依赖 | | **适用场景** | 长距离依赖关系捕捉 | 高效推理、短距离依赖捕捉 | | **内存消耗** | 较高 | 较低 | EMA注意力机制通过递归更新的方式，在一定程度上简化了Self-Attention的计算过程，同时保留了注意力机制的核心思想。然而，由于其递归特性，可能无法完全替代Self-Attention在捕捉全局依赖关系上的能力。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值