Multi-head Self-attention（多头注意力机制）

最新推荐文章于 2025-10-11 12:55:33 发布
原创 最新推荐文章于 2025-10-11 12:55:33 发布 · 6.1k 阅读 · 24 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能 #cnn #rnn #dnn

本文介绍了多头自注意力机制的基本原理及实现过程。多头自注意力机制通过多个不同的注意力头捕捉输入数据中多种不同类型的相关性，从而提高模型的表现力。文章详细解释了如何将输入向量转换为多个注意力头，并进行加权求和，最终整合为单一的输出表示。

Self-attention 有一个进阶的版本,叫做 Multi-head Self-attention, Multi-head Self-attention,其实今天的使用是非常地广泛的 。


在LHY2021作业 4 裡面,助教原来的 code 4 有,Multi-head Self-attention,它的 head 的数目是设成 2,那刚才助教有给你提示说,把 head 的数目改少一点 改成 1,其实就可以过medium baseline
但并不代表所有的任务,都适合用比较少的 head,有一些任务,比如说翻译,比如说语音辨识,其实用比较多的 head,你反而可以得到比较好的结果至於需要用多少的 head,这个又是另外一个hyperparameter,也是你需要调的那為什麼我们会需要比较多的 head 呢,你可以想成说相关这件事情我们在做这个 Self-attention 的时候,我们就是用 q 去找相关的 k,但是相关这件事情有很多种不同的形式,有很多种不同的定义,所以也许我们不能只有一个 q,

最低0.47元/天 解锁文章
【Transformer】multi-head self-attention 多头自注意力机制
m0_51579041的博客
05-02 1244
【Transformer】multi-head self-attention 多头自注意力机制
【YOLOv8改进 - 注意力机制】 MHSA：多头自注意力（Multi-Head Self-Attention）
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-01 2352
我们介绍了BoTNet，这是一个概念简单但功能强大的骨干架构，将自注意力引入多个计算机视觉任务，包括图像分类、物体检测和实例分割。通过仅在ResNet的最后三个瓶颈块中用全局自注意力替换空间卷积，而不进行其他更改，我们的方法在实例分割和物体检测任务上显著提升了基线性能，同时减少了参数，延迟方面的开销也极小。通过设计BoTNet，我们还指出了带自注意力的ResNet瓶颈块可以视为Transformer块。
Transformer2--Multi-head self-attention
luralying的博客
06-26 1304
为什么是multi-head self attention?**并行的处理多种注意力模式：**每个注意力头使用不同的线性变换，这意味着它们可以从输入序列的不同子空间中学习不同的特征关联。这样一来，模型可以通过多个注意力头同时关注输入序列的不同方面，如一句话的语法结构、语义角色、主题转移等。**增加模型的学习能力和表达能力：**通过多个注意力头，由于每个头关注的特征不同，模型可以学习到更丰富的上下文信息，这样综合起来可以更加全面的理解和处理序列。
【ML】multi head self-attention(自注意力机制)
格物致知
08-06 1602
不管是 self-attention 还是 multi head self-attention都是位置无关的算法（举例：根据self-attention,a1 和 a4 或者 a1 与 a2 的举例相关性是一样的，并没有将位置信息编码到 O的的输出中，不反应位置相干的信息，因此为位置无关），这里通过 positional encoding 加入位置信息。对于序列中的每个元素，我们通过不同的线性变换将其分解为查询向量 ( q_i )、键向量 ( k_i ) 和值向量 ( v_i )。其中 n 是序列的长度。
深度学习基本模块：MultiheadAttention 多头注意力机制
最新发布
qq_34941290的博客
10-11 821
多头注意力机制（MultiheadAttention）是Transformer的核心组件，通过并行计算多个注意力头，使模型能同时捕捉输入序列中不同表示子空间的信息。该机制将输入特征分割到多个子空间独立计算注意力，再合并结果，显著增强了序列建模能力。其可学习参数包括投影权重和偏置项，支持灵活配置嵌入维度和注意力头数。输入输出采用(batch, seq, feature)格式，可应用于自注意力、交叉注意力等场景。PyTorch实现中，MultiheadAttention层不限定输入来源，可根据任务需求设计查询、
Multi- Head self-Attention 机制详解
qq_43703185的博客
09-13 4419
原文链接：https://www.jianshu.com/p/e647d3a10d9c 在「拆 Transformer 系列一：Encoder-Decoder 模型架构详解」中有简单介绍 Attention，Self-Attention 以及 Multi-Head Attention，都只是在直观上介绍 Attention 的作用，如何能够像人的视觉注意力机制那样，记住关键信息，并且也介绍了 Self-Attention 机制如何能通过对自身注意力加权来学习句子内部结构以及一些语法特征。 现在，我还要打算继
Attention_self attention_multi head attention
08-08
该文档主要介绍了attention及其变种self attention 、multi-attention以及一些相关的paper
Multi-head Self-attention
qq_40133804的博客
05-08 1255
Multi-head Self-attention 一个Attention获得一个表示空间，如果多个Attention，则可以获得多个不同的表示空间。以2个head为例，a所得到的q，k，v可以进一步乘以两个变换矩阵W成为q1,q2,k1,k2,v1,v2. 图中的例子只有两个输入ai与aj，qi1与ki1做attention，qi1与kji做attention，分别乘以各自的v1后得到bi1。同理，qi2与ki2做attention，qi2与kj2做attention，可以得到bi2. bi1与bi
Multi-Head Attention （多头注意力）机制详解
weixin_67868534的博客
07-09 1083
多头注意力机制(Multi-HeadAttention)是Transformer的核心组件，通过并行多个自注意力头在不同子空间学习多样特征表示。其计算过程包括：1)将输入映射到多个子空间；2)每个头独立计算注意力权重；3)拼接各头输出并线性变换。该机制保持了与单头注意力相同的计算复杂度，但获得了更丰富的表达能力，能同时捕捉局部和全局依赖关系。其优势在于并行计算高效性、多特征学习能力以及复杂关系建模，使Transformer超越传统RNN/LSTM在处理长序列时的性能。
Multi-headed Self-attention（多头自注意力）机制介绍
强化学习曾小健
06-15 2832
在Transformer及BERT模型中用到的Multi-headed Self-attention结构与之略有差异，具体体现在：如果将前文中得到的。以上便是对Transformer及BERT模型中用到的多头自注意力机制的简要介绍，接下来的文章将介绍Transformer及BERT模型。，在Multi-headed Self-attention中，我们会将这里得到的。对于序列中的其他输入也是同样的处理过程，且它们共享这些网络的参数。整体看做一个“头”，则“多头”即指对于特定的。），然后通过线性转换（即不。
LLM基础｜关于Self-Attention（自注意力机制）以及 Multi-head Attention（多头注意力机制）
weixin_49659123的博客
09-01 3094
本文深入一下Self-Attention（自注意力机制）以及 Multi-head Attention（多头注意力机制）的原理以及计算过程，主要的参考资料是台大李宏毅教授的授课内容，同时增加了一些从其他文章那里参考的细节，以及一些些个人的理解和心得。
注意力机制（Attention）、自注意力机制(Self Attention)和多头注意力(Multi-head Self Attention)机制详解
CV在读
11-13 1万+
简单理解：多组自注意力机制并行运行，最后把结果拼接起来。
多头注意力机制：Multi-Head Self-Attention
feifeikon的博客
07-09 420
经过上面内容的介绍，我们算是在一定程度上对于自注意力机制有了清晰的认识，不过在上面我们也提到了自注意力机制的缺陷就是：**模型在对当前位置的信息进行编码时，会过度的将注意力集中于自身的位置，**因此作者提出了通过多头注意力机制来解决这一问题。同时，使用多头注意力机制还能够给予注意力层的输出包含有不同子空间中的编码表示信息，从而增强模型的表达能力。如图7所示，可以看到所谓的多头注意力机制其实就是将原始的输入序列进行多组的自注意力处理过程；此时，假如有如图13所示的头注意力计算过程。
2021李宏毅机器学习之Self-attention进阶版本multi-head Self-attention
weixin_43937959的博客
03-22 2295
Multi-head Self-attention  Self-attention 有一个进阶的版本,叫做 Multi-head Self-attention, Multi-head Self-attention,其实今天的使用是非常地广泛的。在作业 4 裡面,助教原来的 code 4 有,Multi-head Self-attention,它的 head 的数目是设成 2,那刚才助教有给你提示说,把 head 的数目改少一点 改成 1,其实就可以过medium baseline。  但并不代表所有的任务,
Multi-Head self-Attention结构细节
weixin_54039182的博客
05-06 943
详细描写了多头注意力机制的计算原理及过程。
Multi Self-Attention(多头自注意力机制）
qq_72354549的博客
06-03 5179
一下是我对李宏毅老师-自注意力机制的总结首先看图：假设我们输入有四个向量，这四个向量是有关系的，而如果我们将self-attention这个模块拿走，那么就相当于是把这四个输入当作毫无关系的向量进行处理然后得到四个输出。所以：self-attention这个模块的作用就是将这四个输入联系起来使我们的输出与这四个输入都有关。
Self-Attention 和 Multi-Head Attention 的区别——附最通俗理解！！
不要给自己设限，尝试更多可能（思所向 皆可往）
01-27 1万+
随着Transformer模型的迅速普及，Self-Attention（自注意力机制）和Multi-Head Attention（多头注意力机制）成为了自然语言处理（NLP）领域中的核心组件。本文将从简要工作、工作流程、两者对比三个方面，解析这两种注意力。一、简要介绍使输入序列中的每个元素能够关注并加权整个序列中的其他元素，生成新的输出表示，不依赖外部信息或历史状态。Self-Attention允许输入序列中的每个元素都与序列中的其他所有元素进行交互。
Self -Attention、Multi-Head Attention、Cross-Attention
热门推荐
大鹏的专栏
11-24 6万+
Transformer 与 RNN 不同，可以比较好地并行训练。Transformer 本身是不能利用单词的顺序信息的，因此需要在输入中添加位置 Embedding，否则 Transformer 就是一个词袋模型了。Transformer 的重点是 Self-Attention 结构，其中用到的 Q, K, V矩阵通过输出进行线性变换得到。
Multi-Head Self-Attention
weixin_45704823的博客
04-14 502
在示例的最后部分，我们创建一个多头自注意力层并将其应用于输入张量。
Multi-Head Self-Attention与Multi-Head Attention的中文
05-14
Multi-Head Self-Attention和Multi-Head Attention都是自注意力机制（self-attention）的变种，具体含义如下： - Multi-Head Self-Attention（多头自注意力）：是指将输入的序列分别经过多个不同的线性变换，得到多组不同的注意力分布，然后将这些注意力分布加权求和，得到最终的自注意力表示。这种方法常用于Transformer模型中，可以增强模型的表达能力。 - Multi-Head Attention（多头注意力）：是指将输入的两个序列（通常是查询序列和键值序列）分别经过多个不同的线性变换，得到多组不同的注意力分布，然后将这些注意力分布加权求和，得到最终的注意力表示。这种方法常用于序列到序列模型中，可以实现对不同位置信息的集成和关联。 需要注意的是，Multi-Head Self-Attention和Multi-Head Attention的主要区别在于输入序列的不同，前者是一个序列，后者是两个序列。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

就随便学学哈

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值