自注意力机制（Self-Attention Mechanism）的详细介绍

自注意力机制：原理、特点与应用
最新推荐文章于 2025-09-08 07:50:11 发布
原创 最新推荐文章于 2025-09-08 07:50:11 发布 · 1.3k 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#神经网络 #人工智能 #深度学习 #算法 #python

 0 引言      

自注意力机制（Self-Attention Mechanism）是一种深度学习中的重要技术，广泛应用于自然语言处理、计算机视觉等领域，尤其是在Transformer模型中发挥了核心作用。它的关键思想是通过计算输入序列中每个元素与其他元素的相关性，赋予每个元素不同的权重，从而捕捉全局信息和长距离依赖。

1 自注意力机制的基本流程

自注意力机制通常应用于序列数据。对于一个输入序列 X = \{ x_1, x_2, \dots, x_n \},，自注意力机制通过以下步骤计算每个元素的权重和输出：

（1）生成 Query、Key 和 Value

对于输入序列中的每个元素，首先生成三个向量：查询（Query）、键（Key）和值（Value）。这些向量是通过与学习到的矩阵相乘生成的。

Q=XW_{Q}  

K=XW_{K}

V=XW_{V}

（2）计算注意力分数

接下来，计算查询向量 Q 和键向量 K之间的相似度，通常使用点积（dot product）来衡量。为了避免数值过大，通常会将点积结果除以一个缩放因子 \sqrt{d_{k}}，其中d_{k} 是键向量的维度。

\text{Attention}(Q, K) = \frac{Q \cdot K^T}{\sqrt{d_k}}

这个公式会产生一个矩阵，表示序列中每个元素与其他元素的相似度。

（3）应用softmax

为了将相似度转换为权重，需要对结果应用Softmax函数。Softmax函数将点积结果转化为概率分布，使得权重和为1。这样，模型能够通过这些权重选择性地关注输入序列的不同部分。

\alpha = \text{Softmax}\left(\frac{Q \cdot K^T}{\sqrt{d_k}}\right)

（4）加权求和

使用生成的权重 α对值向量 V进行加权求和，得到每个元素的最终输出。这个步骤确保了输入序列中的重要部分得到更高的关注度。

\text{Output} = \alpha \cdot V

（5）总结

最终输出是输入序列的加权和，其中每个元素与其他所有元素的相关性被考虑进来。自注意力机制的这种计算方式使得模型可以全局地关注序列中的不同部分，从而能够捕捉长距离依赖关系。

2 自注意力机制的特点

  • 长距离依赖建模：传统的RNN、LSTM等方法在处理长序列时会面临信息衰减问题，而自注意力机制可以直接计算序列中任意两个元素之间的相关性，因此更适合处理长距离依赖。

  • 并行计算：自注意力机制可以并行处理输入序列中的所有元素，而不像RNN那样依赖顺序计算，因此计算效率较高，特别是在Transformer中表现尤为突出。

  • 捕捉全局信息：自注意力机制能够捕捉到输入序列中的全局关系，而不仅仅是局部信息。每个元素在与所有其他元素进行关联后，得到的输出能够综合全局信息。

3 应用场景

  • 自然语言处理（NLP）：自注意力机制是Transformer模型的核心部分，用于机器翻译、文本生成、句法分析等任务中。在BERT、GPT等模型中，自注意力被广泛使用来理解文本的上下文。

  • 计算机视觉（CV）：自注意力机制也开始应用于图像处理任务，通过关注图像的不同区域来捕捉空间依赖性，如在图像分类、目标检测等任务中。

4 举例

Transformer模型中使用的自注意力机制（也称为“缩放点积注意力”，scaled dot-product attention）是其能够取得出色性能的原因之一。Transformer使用多头注意力机制（Multi-Head Attention），即并行计算多个自注意力头，然后将结果拼接在一起。这种多头注意力机制使模型能够从不同的子空间学习更丰富的特征表示。

AI学习指南深度学习篇-自注意力机制（Self-Attention Mechanism）
俞兆鹏的博客
10-25 2397
自注意力机制是一种使得模型能够在处理输入序列时，有效地关注到序列中各个元素之间的关系。与传统的卷积和循环神经网络（RNN）不同，自注意力机制能够在单一的计算步骤中捕捉到序列中不同位置之间的相互关系。
自注意力机制(Self-Attention Mechanism)
AI天才研究院
07-12 1184
自注意力机制(Self-Attention Mechanism) Self-Attention Mechanism. 自注意力(Self-Attention)机制也称为内部注意力(Int
自注意力机制（Self-Attention Mechanism）
qq_74722169的博客
02-22 4866
先让我们来了解什么是注意力机制，当我们看到一张图画时，第一眼肯定会注意到图片中最显眼的特征，**深度学习中的注意力机制（Attention Mechanism）**是一种模仿人类视觉和认知系统的方法，它允许神经网络在处理输入数据时集中注意力于相关的部分。通过引入注意力机制，神经网络能够自动地学习并选择性地关注输入中的重要信息，提高模型的性能和泛化能力。例如下图：我们大部分人第一眼注意到的一定是东方明珠，但是这图其实还有旁边的楼，下面的汽车等等。这其实就是一种。
Transformer模型详解03-Self-Attention（自注意力机制）
liaomin416100569的专栏
05-10 3953
下图是论文中 Transformer 的内部结构图，左侧为 Encoder block，右侧为 Decoder block。红色圈中的部分为 Multi-Head Attention，是由多个 Self-Attention组成的，可以看到 Encoder block 包含一个 Multi-Head Attention，而 Decoder block 包含两个 Multi-Head Attention (其中有一个用到 Masked)。
Self Attention自注意力机制详解
最新发布
没事学AI的博客
09-08 1548
摘要： Self Attention是Transformer的核心机制，通过让序列元素相互关注并分配权重，解决了传统RNN的并行计算和长程依赖问题。其核心步骤包括：生成Q/K/V矩阵、计算相似度得分、Softmax加权求和。关键组件Mask机制处理序列填充和未来信息泄露，多头注意力则从多角度捕捉依赖关系。文中提供了基于PyTorch的Self Attention和多头注意力实现代码，适用于NLP和CV任务，支撑了BERT、GPT等大模型的成功。
【Transformer 相关理论深入理解】注意力机制、自注意力机制、多头注意力机制、位置编码
qq_38253797的博客
10-26 2万+
transformer原理
Self-Attention Mechanism
wang2008start的专栏
12-02 745
    在计算 Attention 时主要分为三步，第一步是将 query 和每个 key 进行相似度计算得到权重，常用的相似度函数有点积，拼接，感知机等；然后第二步一般是使用一个 softmax 函数对这些权重进行归一化；最后将权重和相应的键值 value 进行加权求和得到最后的 Attention。 目前在 NLP 研究中，key 和 value 常常都是同一个，即 key=value。...
下面是一个自注意力机制（Self-Attention Mechanism）的实现，基于PyTorch
07-19
自注意力机制在Transformer模型中被广泛应用，是现代NLP模型的核心组件之一。Transformer模型是由Vaswani等人在2017年提出的，它通过完全基于注意力机制来实现序列到序列的转换，不依赖于传统的循环神经网络（RNN)...
时间序列中的多头自注意力机制 (Multi-Head Self-Attention Mechanism) 详细解释及举例
m0_51200050的博客
06-12 1237
时间序列中的多头自注意力机制 (Multi-Head Self-Attention Mechanism) 详细解释及举例
Self-Attention Mechanism(自注意力机制)
Mr_Suda的博客
11-29 2885
self-attention是注意力机制中的一种，也是transformer中的重要组成部分，而self-attention其本质的基础便是上一文提到了attention。本文中只讲解最简单的Self-Attention Mechanism，涉及到其他的会在transformer里面进行提及。 1.Self-Attention Mechanism模型结构 在Self-Attention的模型中，模型的输出是对整个模型的输入进行一个考虑，最终得到了相应的输出。（类似于Attention中S_i对于每个H_
【自然语言处理】Self-Attention机制
藓类少女的博客
10-15 2009
特性普通的Attention输入同一个序列（Query = Key = Value）不同的序列（Query ≠ Key ≠ Value）应用场景同一序列内部的依赖建模序列间的信息传递典型任务编码器内部、BERT、GPT机器翻译、图像描述生成关注点序列内部的全局信息跨序列的信息关联并行化高效并行解码阶段难以并行时间复杂度O(n^2)O(nm)Self-Attention通常用于建模单个序列中的元素间的依赖，而普通的Attention则用于建模两个序列之间的依赖。
自然语言处理中的自注意力机制（Self-attention Mechanism）
u014203254的博客
02-19 7280
自然语言处理中的自注意力机制（Self-attention Mechanism） 近年来，注意力（Attention）机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中，之前我对早期注意力机制进行过一些学习总结（可见http://www.cnblogs.com/robert-dlut/p/5952032.html）。随着注意力机制的深入研究，各式各样的attention被研究者们提出...
Self-Attention 自注意力机制
c___c18的博客
06-11 3439
下图中简单介绍了RNN和self-attention的机制区别，首先是第一个区别就是，在下图中最后面的黄色的输出值在RNN中很难去考虑第一个的RNN的输入(当然双向的RNN也是可以实现的，或者改进的RNN，如LSTM)，而在self-attention中是很容易去实现的。下面这张图片表示了在不同数据集上的效果图，发现，在数据集不大的情况下，CNN的效果是优于self- attention的，反之CNN的效果会差一些。如上图所示，就是在计算完成qi的时候，再去对应相乘两个不同的矩阵，这样就得到了新的向量。
自注意力机制（self-attention）
m0_63520910的博客
04-11 3万+
B站视频-李宏毅机器学习2021-自注意力机制 1.要解决的问题 当把输入看成一个向量，输出是数值或者类别。但是如果遇到更复杂的问题呢？ 假设输入是多个向量，而且数目不固定，要怎么处理呢？ （1）输入vector set as input —向量集输入举例 例1 一句话 如下图所示，第一种方式可以利用one-hot encoding，但是这种方式下每一个词之间没有关系。第二种方式是word enbedding,很显然这种方式下类别相同的词聚集在一起。 共同点：一个词对应一个向量，即一句话对
自注意力机制(Self-Attention)
热门推荐
Michale_L的博客
08-27 9万+
自注意力机制
Transformer 系列一：Self-Attention Mechanism 自注意力机制
weixin_44174227的博客
08-23 3619
先说注意力机制注意力机制的灵感来源于人类视觉和认知系统。想象一下，当你在阅读一篇文章时，你的眼睛和大脑会自然地聚焦在那些最重要的部分，比如标题、关键段落或图表。这个过程就像是你的大脑在分配“注意力”，以便快速抓住文章的要点。这是因为你的潜意识认为这些部分包含的信息最为丰富和直接。注意力机制正是模仿了这种选择性关注，它通过集中关注信息的关键部分来提取出更加重要的内容。
Attention 一综述
Xwei1226的博客
01-10 1936
近年来，注意力（Attention）机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中。随着注意力机制的深入研究，各式各样的attention被研究者们提出，如单个、多个、交互式等等。去年6月，google机器翻译团队在arXiv上的《Attention is all you need》论文受到了大家广泛关注，其中，他们提出的自注意力（self-attention）机制和多头（mult...
自注意力机制（Self-attention）
w65353的博客
09-06 413
自注意力机制Self-attention
自注意力机制（self-attention mechanism）
06-14
自注意力机制（self-attention mechanism）是Transformer模型的核心之一，它允许模型在计算表示向量时关注输入序列中的不同部分，以便更好地建模序列之间的依赖关系。 自注意力机制的基本思想是，对于一个输入序列中的每个位置，计算该位置与序列中其他位置的相似度，并将相似度作为权重将这些位置的表示向量进行加权，以生成每个位置的新表示向量。 具体来说，假设输入序列为$x_1,x_2,\cdots,x_n$，每个位置的表示向量为$h_1,h_2,\cdots,h_n$。对于位置$i$，我们可以通过计算该位置与其他位置的相似度得到一个权重向量$w_i$，其中$w_{ij}$表示位置$i$和位置$j$之间的相似度。然后，我们可以将权重向量$w_i$应用于每个位置的表示向量$h_j$，并将加权的值相加，以得到位置$i$的新表示向量$h'_i$： $$h'_i=\sum_{j=1}^n w_{ij}h_j$$ 其中，权重向量$w_i$的计算可以通过先将输入序列中每个位置的表示向量进行线性变换得到查询向量$q_i$、键向量$k_j$和值向量$v_j$，然后计算查询向量$q_i$和键向量$k_j$之间的相似度，并将相似度归一化为概率分布，以得到每个位置的注意力权重。具体来说，权重向量$w_i$的计算公式为： $$w_{ij}=\frac{\exp(q_i\cdot k_j)}{\sum_{k=1}^n \exp(q_i\cdot k_k)}$$ 其中，$\cdot$表示向量之间的点积。 自注意力机制的优点在于，它能够捕捉输入序列中不同部分之间的依赖关系，从而更好地建模序列。此外，它还可以并行计算，因为每个位置的表示向量可以独立地计算。 总之，自注意力机制是一种非常强大的序列建模工具，已经在许多NLP任务中取得了出色的表现。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值