Transformer中，MHSA(multi-head self-attention)中为什么要分多个Head？

最新推荐文章于 2025-01-27 08:00:00 发布
原创 最新推荐文章于 2025-01-27 08:00:00 发布 · 2.4k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #深度学习 #人工智能

本文解析了多头注意力机制如何增强模型的表达学习能力。通过将输入数据拆分为多个Head，使得每个Head可以独立进行Attention计算，从而学习到不同的特征。这种机制不仅提高了模型的学习能力，而且计算复杂度保持不变。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

结论：模型的表达学习能力增强了

输入到MHSA中的数据的shape应该为B × L × Embedding，B是Batch，L是序列长度
而在MHSA中，数据的shape会被拆分为多个Head，所以shape会进一步变为：
B × L × Head × Little_Embedding

以Transformer为例，原始论文中Embedding为512，Head数为8，所以shape在进入MHSA中时，会变为：
B × L × 8 × 64

如果不分头，相当于对512*512的矩阵进行Attention计算；
而如果分头了，相当于8个头中，每个头彼此独立进行Attention计算，不同头学习到的特征也可能是不同的，相当于增强了模型的表达学习能力。
并且，8 次的 64 × 64，和 1 次的 512 × 512，两者的计算复杂度是一致的，并没有造成额外的计算开销。

LLM - Transformer 的 多头自注意力(MHSA) 理解与源码
AGI
07-08 1246
在 Transformer 中，多头自注意力机制 (MHSA, Multi-Head Self-Attention) 是核心创新之一，极大地提升模型处理序列数据的能力。多头自注意力机制是自注意力机制的扩展，将输入分割成多个 头(Head)，每个头学习输入的不同部分表示，然后，将这些表示合并起来，以捕获信息的不同方面。
【YOLOv8改进 - 注意力机制】 MHSA：多头自注意力（Multi-Head Self-Attention）
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-01 2004
我们介绍了BoTNet，这是一个概念简单但功能强大的骨干架构，将自注意力引入多个计算机视觉任务，包括图像分类、物体检测和实例分割。通过仅在ResNet的最后三个瓶颈块中用全局自注意力替换空间卷积，而不进行其他更改，我们的方法在实例分割和物体检测任务上显著提升了基线性能，同时减少了参数，延迟方面的开销也极小。通过设计BoTNet，我们还指出了带自注意力的ResNet瓶颈块可以视为Transformer块。
大模型面试题: Transformer中为什么要用多个头？
m0_56255097的博客
12-17 395
类似不同的头从不同的视角去计算序列之间的相似性，然后最后汇总到一起(相当于对之空间进行融合)；因此多头表示多个多样化的子空间，有助于提升的非线性表达能力。上面公式中的H就是头的数量，我们可以看到，res(模型的秩)是呈现双指数形式的下降的，加了一个H，对其有减缓的作用，也就是本来不加H的话，左边的那个值就很小了，加上H之后，虽然也很小，但是没那么小了。多头可以并行，加快计算效率，且多头本身类似于VGG中使用多个小卷积核的思想，计算量会少一些。
Transformer中的多头注意力机制-为什么需要多头？
qq_39333636的博客
11-27 6922
Transformer为什么使用多头注意力机制呢？ 多头可以学习到不同维度的特征和信息。为什么可以学习到不同维度的信息呢？ 答案是：多头注意力机制的组成是有单个的self attention，由于self attention通过产生QKV矩阵来学习数据特征，那每一个self attention最终会产生一个维度上的输出特征，所以当使用多头注意力机制的时候，模型就可以学习到多维度的特征信息，这使得模型可以从多个维度更好的理解数据。同时多头注意力机制还是并行计算的，这也符合现在硬件架构，提升计算效率。
【无标题】为什么Transformer需要多头注意力（Mukti-head attention）?
小红花yu
04-04 2755
可以类比CNN中同时使用多个滤波器的作用，直观上讲，多头的注意力有助于网络捕捉到更丰富的特征/信息。 论文中是这么说的： Multi-head attention allows the model to jointly attend to information from different representation subspaces at different positions. 关于different representation subspaces，举一个不一定妥帖的例子：当你浏览网页的时
大模型面试题：Transformer 为什么使用多头注意力机制?
2401_84033492的博客
12-09 994
最近秋招发放Offer已高一段落。不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。。更多实战和面试交流，文末加入我们。
Transformer中Multi-head Attention的作用
Matrix_cc的博客
03-14 3739
本文参考https://www.zhihu.com/question/341222779 （1）多头的注意力有助于网络捕捉到更丰富的特征 / 信息。 原论文中写道： Multi-head attention allows the model to jointly attend to information from different representation subspaces a...
【YOLOv11改进 - 注意力机制】 MHSA：多头自注意力（Multi-Head Self-Attention）
2401_85597258的博客
11-07 1038
【YOLOv11改进 - 注意力机制】 MHSA：多头自注意力（Multi-Head Self-Attention）
【YOLOv10改进 - 注意力机制】 MHSA：多头自注意力（Multi-Head Self-Attention）
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-05 1200
我们介绍了BoTNet，这是一个概念简单但功能强大的骨干架构，将自注意力引入多个计算机视觉任务，包括图像分类、物体检测和实例分割。通过仅在ResNet的最后三个瓶颈块中用全局自注意力替换空间卷积，而不进行其他更改，我们的方法在实例分割和物体检测任务上显著提升了基线性能，同时减少了参数，延迟方面的开销也极小。通过设计BoTNet，我们还指出了带自注意力的ResNet瓶颈块可以视为Transformer块。
Multi-headed Self-attention（多头自注意力）机制介绍
强化学习曾小健
06-15 2706
在Transformer及BERT模型中用到的Multi-headed Self-attention结构与之略有差异，具体体现在：如果将前文中得到的。以上便是对Transformer及BERT模型中用到的多头自注意力机制的简要介绍，接下来的文章将介绍Transformer及BERT模型。，在Multi-headed Self-attention中，我们会将这里得到的。对于序列中的其他输入也是同样的处理过程，且它们共享这些网络的参数。整体看做一个“头”，则“多头”即指对于特定的。），然后通过线性转换（即不。
Multi-head Self-attention（多头注意力机制）
jcandzero的博客
10-07 6059
Multi-head Self-attention（多头注意力机制）是怎么样的实现过程
Transformer多头怎么理解？
热门推荐
Drug discovery
09-27 1万+
可以类似于CNN中利用多个卷积核分别提取不同特征（https://mapengsen.blog.youkuaiyun.com/article/details/120512095）的作用，直观上讲，多头的注意力有助于网络捕捉到更丰富的特征/信息。 论文中是这么说的： Multi-head attention allows the model to jointly attend to information from different representation subspaces at different pos
深入理解Transformer，兼谈MHSA（多头自注意力）、Cross-Attention（交叉注意力）、LayerNorm、FFN、位置编码
DEDSEC_Roger的博客
11-27 1万+
【代码】深入理解Transformer，兼谈MHSA（多头自注意力）、Cross-Attention（交叉注意力）、LayerNorm、FFN、位置编码。
【深度学习+面经】Transformer 网络学习笔记
BetterBench的博客
06-07 5036
目录1 引言2 详解3 优缺点3.1 优点3.2 缺点4 应用领域5 面经5.1 第一部分5.2 第二部分 1 引言 Transformer中抛弃了传统的CNN和RNN，整个网络结构完全是由Attention机制组成。更准确地讲，Transformer主要由多头self-Attenion和Feed Forward Neural Network组成。一个基于Transformer的可训练的神经网络可以通过堆叠Transformer的形式进行搭建，作者的实验是通过搭建编码器和解码器各6层，总共12层的Enco
浅谈Transformer
绯荔榭•少年
10-11 411
《Attention Is All You Need》论文中Transformer模型的解读。
如何估算transformer模型的显存大小
deephub
08-30 6499
本文将详细介绍如何计算transformer的内存占用
【AI大模型】一文彻底搞懂Transformer - 多头注意力（Multi-Head Attention）
bugyinyin的博客
01-27 2661
在深度学习中，多头注意力（Multi-Head Attention）是一种注意力机制。它是对传统注意力机制的一种改进，旨在通过分割输入特征为多个“头部”（head）并独立处理每个头部来提高模型的表达能力和学习能力。
transformer系列学习笔记
qq_42075634的博客
04-04 6782
transformer 详解 详解 VIT 官方源码 详解 Linear Projection of Flattened Patches(Embedding层) Transformer Encoder MLP Head（最终用于分类的层结构） Hybrid 详解 传统CNN特征提取和Transformer进行结合 Swin Transformer（Swin-T） 官方源码 详解 ...
Multi- Head self-Attention 机制详解
qq_43703185的博客
09-13 4338
原文链接：https://www.jianshu.com/p/e647d3a10d9c 在「拆 Transformer 系列一：Encoder-Decoder 模型架构详解」中有简单介绍 Attention，Self-Attention 以及 Multi-Head Attention，都只是在直观上介绍 Attention 的作用，如何能够像人的视觉注意力机制那样，记住关键信息，并且也介绍了 Self-Attention 机制如何能通过对自身注意力加权来学习句子内部结构以及一些语法特征。 现在，我还要打算继
Transformer Attention
最新发布
04-01
Multi-Head 自注意力机制通过将输入线性变换为多个子空间来进行多次独立的注意力计算，最后再拼接起来并通过另一个线性投影得到最终输出。这样可以允许模型在不同的位置关注到不同类型的特征。 ```python import...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值