自注意力机制（Self-Attention Mechanism）的详细介绍

最新推荐文章于 2025-05-02 23:00:08 发布
最新推荐文章于 2025-05-02 23:00:08 发布
阅读量1.1k 收藏 18
点赞数 13
CC 4.0 BY-SA版权
文章标签： 神经网络 人工智能 深度学习 算法 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Seu_Jason/article/details/142657998

 0 引言      

自注意力机制（Self-Attention Mechanism）是一种深度学习中的重要技术，广泛应用于自然语言处理、计算机视觉等领域，尤其是在Transformer模型中发挥了核心作用。它的关键思想是通过计算输入序列中每个元素与其他元素的相关性，赋予每个元素不同的权重，从而捕捉全局信息和长距离依赖。

1 自注意力机制的基本流程

自注意力机制通常应用于序列数据。对于一个输入序列 X = \{ x_1, x_2, \dots, x_n \},，自注意力机制通过以下步骤计算每个元素的权重和输出：

（1）生成 Query、Key 和 Value

对于输入序列中的每个元素，首先生成三个向量：查询（Query）、键（Key）和值（Value）。这些向量是通过与学习到的矩阵相乘生成的。

Q=XW_{Q}  

K=XW_{K}

V=XW_{V}

最低0.47元/天 解锁文章

200万优质内容无限畅学
AI学习指南深度学习篇-自注意力机制（Self-Attention Mechanism）
俞兆鹏的博客
10-25 2222
自注意力机制是一种使得模型能够在处理输入序列时，有效地关注到序列中各个元素之间的关系。与传统的卷积和循环神经网络（RNN）不同，自注意力机制能够在单一的计算步骤中捕捉到序列中不同位置之间的相互关系。
自注意力机制(Self-Attention Mechanism)
AI天才研究院
07-12 1061
自注意力机制(Self-Attention Mechanism) Self-Attention Mechanism. 自注意力(Self-Attention)机制也称为内部注意力(Int
自注意力机制（Self-Attention Mechanism）
qq_74722169的博客
02-22 4534
先让我们来了解什么是注意力机制，当我们看到一张图画时，第一眼肯定会注意到图片中最显眼的特征，**深度学习中的注意力机制（Attention Mechanism）**是一种模仿人类视觉和认知系统的方法，它允许神经网络在处理输入数据时集中注意力于相关的部分。通过引入注意力机制，神经网络能够自动地学习并选择性地关注输入中的重要信息，提高模型的性能和泛化能力。例如下图：我们大部分人第一眼注意到的一定是东方明珠，但是这图其实还有旁边的楼，下面的汽车等等。这其实就是一种。
自注意力机制
最新发布
Man
05-02 997
在图像识别的时候，假设输入的图像大小都是一样的。但如果输入是一组向量，并且。不同位置输入同一单词。
Self-Attention Mechanism
wang2008start的专栏
12-02 713
    在计算 Attention 时主要分为三步，第一步是将 query 和每个 key 进行相似度计算得到权重，常用的相似度函数有点积，拼接，感知机等；然后第二步一般是使用一个 softmax 函数对这些权重进行归一化；最后将权重和相应的键值 value 进行加权求和得到最后的 Attention。 目前在 NLP 研究中，key 和 value 常常都是同一个，即 key=value。...
Self-Attention Mechanism(自注意力机制)
Mr_Suda的博客
11-29 2754
self-attention是注意力机制中的一种，也是transformer中的重要组成部分，而self-attention其本质的基础便是上一文提到了attention。本文中只讲解最简单的Self-Attention Mechanism，涉及到其他的会在transformer里面进行提及。 1.Self-Attention Mechanism模型结构 在Self-Attention的模型中，模型的输出是对整个模型的输入进行一个考虑，最终得到了相应的输出。（类似于Attention中S_i对于每个H_
【自然语言处理】Self-Attention机制
藓类少女的博客
10-15 1681
特性普通的Attention输入同一个序列（Query = Key = Value）不同的序列（Query ≠ Key ≠ Value）应用场景同一序列内部的依赖建模序列间的信息传递典型任务编码器内部、BERT、GPT机器翻译、图像描述生成关注点序列内部的全局信息跨序列的信息关联并行化高效并行解码阶段难以并行时间复杂度O(n^2)O(nm)Self-Attention通常用于建模单个序列中的元素间的依赖，而普通的Attention则用于建模两个序列之间的依赖。
Transformer---自注意力机制Self-Attention
niulinbiao的博客
12-13 1028
如今是大模型的时代，我们在网络上使用到的AI工具，例如：chatGPT、文生图、图生图、TTS都结合了Ai大模型，大模型的底层原理是架构，架构的重点就是自注意力机制，如果能够掌握架构就掌握到了80%了解自注意力机制之前，我们先了解一下什么是注意力机制当人类观察事物时，往往会选择性地关注较为重要的信息，这种现象称为注意力机制。例如下方的袋鼠图片，我们更专注的是袋鼠本身，而不是它周围的绿色的草。
下面是一个自注意力机制（Self-Attention Mechanism）的实现，基于PyTorch
07-19
自注意力机制在Transformer模型中被广泛应用，是现代NLP模型的核心组件之一。Transformer模型是由Vaswani等人在2017年提出的，它通过完全基于注意力机制来实现序列到序列的转换，不依赖于传统的循环神经网络（RNN)...
自然语言处理中的自注意力机制（Self-attention Mechanism）
u014203254的博客
02-19 7222
自然语言处理中的自注意力机制（Self-attention Mechanism） 近年来，注意力（Attention）机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中，之前我对早期注意力机制进行过一些学习总结（可见http://www.cnblogs.com/robert-dlut/p/5952032.html）。随着注意力机制的深入研究，各式各样的attention被研究者们提出...
自注意力机制（self-attention）
m0_63520910的博客
04-11 3万+
B站视频-李宏毅机器学习2021-自注意力机制 1.要解决的问题 当把输入看成一个向量，输出是数值或者类别。但是如果遇到更复杂的问题呢？ 假设输入是多个向量，而且数目不固定，要怎么处理呢？ （1）输入vector set as input —向量集输入举例 例1 一句话 如下图所示，第一种方式可以利用one-hot encoding，但是这种方式下每一个词之间没有关系。第二种方式是word enbedding,很显然这种方式下类别相同的词聚集在一起。 共同点：一个词对应一个向量，即一句话对
自注意力机制(Self-Attention)
热门推荐
Michale_L的博客
08-27 9万+
自注意力机制
Transformer 系列一：Self-Attention Mechanism 自注意力机制
weixin_44174227的博客
08-23 3276
先说注意力机制注意力机制的灵感来源于人类视觉和认知系统。想象一下，当你在阅读一篇文章时，你的眼睛和大脑会自然地聚焦在那些最重要的部分，比如标题、关键段落或图表。这个过程就像是你的大脑在分配“注意力”，以便快速抓住文章的要点。这是因为你的潜意识认为这些部分包含的信息最为丰富和直接。注意力机制正是模仿了这种选择性关注，它通过集中关注信息的关键部分来提取出更加重要的内容。
Attention 一综述
Xwei1226的博客
01-10 1838
近年来，注意力（Attention）机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中。随着注意力机制的深入研究，各式各样的attention被研究者们提出，如单个、多个、交互式等等。去年6月，google机器翻译团队在arXiv上的《Attention is all you need》论文受到了大家广泛关注，其中，他们提出的自注意力（self-attention）机制和多头（mult...
自注意力机制(Self-attention)
chenzhiwen1998的博客
04-17 9137
自注意力机制(Self-attention) 背景 最近，学了好多东西，今天看了一下李飞飞老师讲解的自注意力机制，因此在这记录一下，以供日后复习，同时自己学习消化知识也好。 综述 一般来说，模型的输入输出有三种： N个输入，经过模型计算后，输出N个结果，也就是对输入向量进行计算，从而得到每个向量对应的输出值。 N个输入，送入模型进行计算，最终得到一个结果。这就是平时常见的比如，文本分类、情感分析等。 任意个输入，输出任意个输出。这种在生活中也较为常见，比如机器翻译，对于一句
自注意力机制（Self-attention）
w65353的博客
09-06 336
自注意力机制Self-attention
自注意力机制（Self-Attention）
lbr15660656263的博客
06-28 5395
Transformer模型中最关键部分就是自注意力（Self-Attention）机制，正如 Transformer 的论文的标题是“Attention Is All You Need”！以文本问题为例来讲解这个机制。在处理文本问题时，自注意力机制会告诉模型：在处理句子中的每个单词时，特别关注某些重要的单词，并或多或少地忽略其它单词。简单来说，就是给句子中不同单词分配不同的权重。
自注意力机制（self-attention mechanism）
06-14
自注意力机制（self-attention mechanism）是Transformer模型的核心之一，它允许模型在计算表示向量时关注输入序列中的不同部分，以便更好地建模序列之间的依赖关系。 自注意力机制的基本思想是，对于一个输入序列中的每个位置，计算该位置与序列中其他位置的相似度，并将相似度作为权重将这些位置的表示向量进行加权，以生成每个位置的新表示向量。 具体来说，假设输入序列为$x_1,x_2,\cdots,x_n$，每个位置的表示向量为$h_1,h_2,\cdots,h_n$。对于位置$i$，我们可以通过计算该位置与其他位置的相似度得到一个权重向量$w_i$，其中$w_{ij}$表示位置$i$和位置$j$之间的相似度。然后，我们可以将权重向量$w_i$应用于每个位置的表示向量$h_j$，并将加权的值相加，以得到位置$i$的新表示向量$h'_i$： $$h'_i=\sum_{j=1}^n w_{ij}h_j$$ 其中，权重向量$w_i$的计算可以通过先将输入序列中每个位置的表示向量进行线性变换得到查询向量$q_i$、键向量$k_j$和值向量$v_j$，然后计算查询向量$q_i$和键向量$k_j$之间的相似度，并将相似度归一化为概率分布，以得到每个位置的注意力权重。具体来说，权重向量$w_i$的计算公式为： $$w_{ij}=\frac{\exp(q_i\cdot k_j)}{\sum_{k=1}^n \exp(q_i\cdot k_k)}$$ 其中，$\cdot$表示向量之间的点积。 自注意力机制的优点在于，它能够捕捉输入序列中不同部分之间的依赖关系，从而更好地建模序列。此外，它还可以并行计算，因为每个位置的表示向量可以独立地计算。 总之，自注意力机制是一种非常强大的序列建模工具，已经在许多NLP任务中取得了出色的表现。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值