Self-Attention 、Multi-Head Attention

最新推荐文章于 2025-02-11 11:03:35 发布
最新推荐文章于 2025-02-11 11:03:35 发布
阅读量461 收藏
点赞数
分类专栏： Transformer
原文链接：https://blog.youkuaiyun.com/qq_37541097/article/details/117691873
版权

转载大佬：详解Transformer中Self-Attention以及Multi-Head Attention

原文名称：《Attention Is All You Need》
原文链接：https://arxiv.org/abs/1706.03762

最近Transformer在CV领域很火，Transformer是2017年Google在Computation and Language上发表的，当时主要是针对自然语言处理领域提出的（之前的RNN模型记忆长度有限且无法并行化，只有计算完 t i ​时刻后的数据才能计算 t i + 1 ​时刻的数据，但Transformer都可以做到）。在这篇文章中作者提出了Self-Attention的概念，然后在此基础上提出Multi-Head Attention，所以本文对Self-Attention以及Multi-Head Attention的理论进行详细的讲解。

在这里插入图片描述

Self-Attention

在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述

Multi-Head Attention

刚刚已经聊完了Self-Attention模块，接下来再来看看Multi-Head Attention模块，实际使用中基本使用的还是Multi-Head Attention模块。原论文中说使用多头注意力机制能够联合来自不同head部分学习到的信息。Multi-head attention allows the model to jointly attend to information from different representation subspaces at different positions.其实只要懂了Self-Attention模块Multi-Head Attention模块就非常简单了。
在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述
positional encodings
在这里插入图片描述

Transformer2--Multi-head self-attention
luralying的博客
06-26 1169
为什么是multi-head self attention?**并行的处理多种注意力模式：**每个注意力头使用不同的线性变换，这意味着它们可以从输入序列的不同子空间中学习不同的特征关联。这样一来，模型可以通过多个注意力头同时关注输入序列的不同方面，如一句话的语法结构、语义角色、主题转移等。**增加模型的学习能力和表达能力：**通过多个注意力头，由于每个头关注的特征不同，模型可以学习到更丰富的上下文信息，这样综合起来可以更加全面的理解和处理序列。
Transformer的前世今生 day07（Masked Self-Attention、Multi-Head Self-Attention）
丿罗小黑的博客
03-25 660
Masked Self-Attention 掩码自注意力 由于NLP中的生成模型，是一个一个的生成单词， 所以为了让自注意力也实现这个过程，就设计了掩码自注意力 掩码：在自注意力机制中，每个输入位置都会与其他位置进行注意力计算，并计算出一个加权和。而掩码的作用是将不相关或无效的位置的注意力权重设置为0，从而将模型的关注点限定在有效的位置上。如：将未来位置的注意力权重被设置为0，以防止模型在生成当前位置时依赖未来的信息，从而达到生成模型，一个一个生成单词的效果 如果只是自注意力机制，那么模型会知道这
Attention_self attention_multi head attention
08-08
该文档主要介绍了attention及其变种self attention 、multi-attention以及一些相关的paper
Multi-head Self-attention（多头注意力机制）
jcandzero的博客
10-07 6002
Multi-head Self-attention（多头注意力机制）是怎么样的实现过程
【深度学习】自注意力机制&多头自注意力机制：技术背景、原理分析及基于Pytorch的代码实现
最新发布
老皮的博客
02-11 786
的提出源于谷歌的Vaswani 等人于2017年发表的著名论文 《Attention Is All You Need》，作为Transformer架构的核心技术，其被广泛应用于自然语言处理（NLP）和计算机视觉（CV）等领域，为后来的如BERT、GPT等许多先进的模型奠定了基础。本文将从方面详细介绍自注意力机制和多头自注意力机制。在自然语言处理任务中，自注意力机制和多头自注意力机制提出之前的循环神经网络（RNN）和长短期记忆网络（LSTM）虽然也能够处理序列数据，但它们的计算存在。
自注意力(Self-Attention)与Multi-Head Attention机制详解
热门推荐
weixin_60737527的博客
10-21 2万+
self-attention，multi-head attention原理详解
Self-attention 和Multi-head attention
myblog
06-09 1651
self attention:标度点积 class ScaledDotProductAttention(nn.Module): def __init__(self): super(ScaledDotProductAttention, self).__init__() def forward(self, Q, K, V, attn_mask): ...
A Supervised Multi-Head Self-Attention Network for Nested NE.pdf
09-17
本篇文章介绍了一种针对嵌套命名实体识别（Nested Named Entity Recognition, NER）的监督多头自注意力神经网络模型。命名实体识别是自然语言处理（Natural Language Processing, NLP）中的一个重要任务，旨在识别...
Self-Attention原理、Multi-head Self-Attention原理及Pytorch实现
PuJiang-的博客
08-19 6646
一、Self-Attention原理 下图虚线框内为Self-Attention模块基本功能，输入a1,a2,a3,a4a_1,a_2,a_3,a_4a1​,a2​,a3​,a4​，输出b1,b2,b3,b4b_1,b_2,b_3,b_4b1​,b2​,b3​,b4​。输入序列与输出序列长度相同，内部实际上做的是加权求和的运算。 1、计算a1a_1a1​与所有向量(包括自己)的attention-score 使用q1q_1q1​与k1,k2,k3,k4k_1,k_2,k_3,k_4k1​,k2​,k3​,
Self-Attention 及Multi-Head Attention
qq_52860171的博客
01-16 654
援引自B站霹雳吧啦Wz
深度学习：Self-Attention与Multi-heads Attention详解
Hanze的博客
02-01 1223
分为dot product 和 与 additive ，前者就是计算出q k后，做点乘（对应元素相乘在相加），然后得到q对所有k的相关性，然后经过softmax处理得到attention score，在大部分情况下我们都采用这种方法，后者则是做加法然后经过tanh激活得到。然后通过fx，把 x Embedding成低维向量a1，a2，让后对a1，a2分别通过全连接层（对应的权重矩阵w）得到对应的q（query），k（key），v（value）。（实际是不同的head的所对应的q权重矩阵不同。
【李宏毅2020 ML/DL】P23 Transformer | Self-attention, Multi-head Self-attention
记录学习痕迹的公众号：Piper蛋窝
07-28 1244
清晰讲解了 Transformer 。
Multi- Head self-Attention 机制详解
qq_43703185的博客
09-13 4265
原文链接：https://www.jianshu.com/p/e647d3a10d9c 在「拆 Transformer 系列一：Encoder-Decoder 模型架构详解」中有简单介绍 Attention，Self-Attention 以及 Multi-Head Attention，都只是在直观上介绍 Attention 的作用，如何能够像人的视觉注意力机制那样，记住关键信息，并且也介绍了 Self-Attention 机制如何能通过对自身注意力加权来学习句子内部结构以及一些语法特征。 现在，我还要打算继
LLM基础｜关于Self-Attention（自注意力机制）以及 Multi-head Attention（多头注意力机制）
weixin_49659123的博客
09-01 2675
本文深入一下Self-Attention（自注意力机制）以及 Multi-head Attention（多头注意力机制）的原理以及计算过程，主要的参考资料是台大李宏毅教授的授课内容，同时增加了一些从其他文章那里参考的细节，以及一些些个人的理解和心得。
Multi-head Self-attention
qq_40133804的博客
05-08 1208
Multi-head Self-attention 一个Attention获得一个表示空间，如果多个Attention，则可以获得多个不同的表示空间。以2个head为例，a所得到的q，k，v可以进一步乘以两个变换矩阵W成为q1,q2,k1,k2,v1,v2. 图中的例子只有两个输入ai与aj，qi1与ki1做attention，qi1与kji做attention，分别乘以各自的v1后得到bi1。同理，qi2与ki2做attention，qi2与kj2做attention，可以得到bi2. bi1与bi
Multi-Head self-Attention结构细节
weixin_54039182的博客
05-06 878
详细描写了多头注意力机制的计算原理及过程。
Multi-head Self-attention & 应用到图片
qq_42394917的博客
10-02 1000
所以
从Attention到Self-Attention和Multi-Head Attention
zhuzyibooooo的博客
07-28 1069
最近Transformer在CV领域大火，CV领域的很多方向都应用到了Transformer，为了搞清楚Transformer是怎么应用到视频领域的，我又重新学习了一下这篇论文。Transformer是2017年Google在Computation and Language上发表的论文，当时主要是针对自然语言处理（NLP）领域提出的。我的这篇笔记从深度学习中的注意力机制（Attention）开始，介绍到Transformer中提出的Self-Attention概念以及Multi-Head Attention
2021李宏毅机器学习之Self-attention进阶版本multi-head Self-attention
weixin_43937959的博客
03-22 2245
Multi-head Self-attention  Self-attention 有一个进阶的版本,叫做 Multi-head Self-attention, Multi-head Self-attention,其实今天的使用是非常地广泛的。在作业 4 裡面,助教原来的 code 4 有,Multi-head Self-attention,它的 head 的数目是设成 2,那刚才助教有给你提示说,把 head 的数目改少一点 改成 1,其实就可以过medium baseline。  但并不代表所有的任务,
Multi-Head Self-Attention与Multi-Head Attention
05-14
Multi-Head Self-Attention和Multi-Head Attention都是Transformer模型中的核心模块。 Multi-Head Self-Attention是指在一个句子中每个单词使用自注意力机制（Self-Attention）来计算其上下文表示。这个过程会将每个单词的原始表示分别映射成多个子空间，并在每个子空间中计算注意力权重，最后将这些子空间的注意力权重加权求和，得到每个单词的上下文表示。这种方式可以捕获单词之间的复杂依赖关系，并且具有可解释性。 Multi-Head Attention是指在一个句子的两个不同部分之间使用注意力机制（Attention）来计算它们之间的关系。这个过程也会将每个单词的原始表示分别映射成多个子空间，并在每个子空间中计算注意力权重，最后将这些子空间的注意力权重加权求和，得到不同部分之间的关系表示。这种方式可以捕获不同部分之间的语义关系，例如句子中的主语和谓语之间的关系。 总的来说，Multi-Head Self-Attention和Multi-Head Attention都是使用多个子空间来计算注意力权重，但是Multi-Head Self-Attention是单向的，只考虑一个句子中的单词之间的关系，而Multi-Head Attention是双向的，可以考虑两个不同的部分之间的关系。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值