TR4 - Transformer中的多头注意力机制

原创 已于 2024-04-19 14:51:24 修改 · 1.1k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #深度学习 #人工智能

于 2024-04-12 17:03:02 首次发布

目录

前言

多头注意力机制可以说是Transformer中最主要的模块，没有之一。这次我们来仔细分析一下注意力机制与多头注意力机制。

自注意力机制

在Transformer模型中，输入的文本序列经过输入处理转换为一个向量的序列，然后就会被送到第1层的编码器，第一层的编码器的输出同样是一个向量的序列，再送到下一层编码器。
encoder向量流动
通过上图可以发现，向量在层间流动时，向量的数量和维度都是不变的。单层编码器接收到上一层的输入，然后进入自注意力层计算，然后再输入到前馈神经网络中，最后得到每个位置的新向量。

Self-Attention层的具体机制

例如想要翻译的句子为：“The animal didn’t cross the street because it was too tired”。

句子中的it是一个代词，想要知道它具体代指什么，对模型来说并不容易。通过引用Self-Attention机制，模型就会最终计算出it代指的是animal。同样的，当模型处理句子中其他词时，Self-Attention机制也可以让模型不仅仅关注当前位置的词，还关注句中其它位置相关的词，进而更好地理解当前位置的词。

通过一个简单的例子来解释自注意力机制的计算过程：假设一句话为"Thinking Machines"。

自注意力会计算：Thinking-Thinking、Thinking-Machines、Machines-Thinking、Machines-Machines共2的2次方种组合。

具体的计算过程如下：

  • 1 对输入编码器的词向量进行线性变换，得到Query、Key和Value向量。变换的过程是通过词向量分别和3个参数矩阵相乘，参数矩阵可以通过模型训练学习到。

向量计算

  • 2 计算 Attention Score （注意力分数 ）。

假如我们现在计算Thinking的Attention Score，需要根据Thinking对应的词向量，对句子中的其他词向量都计算一个分数，这些分数决定了在编码Thinking这个词时，对句子中其它位置的词向量的权重。

Attention Score 是根据Thinking对应的Query向量和其他位置的每个词的Key向量进行点积得到的。Thinking的第一个Attention Score 就是q1和k1的点积，第二个分数是 q 1 q_1 q1​和 k 2 k_2 k2​的点积。
Attention Score计算

  • 3 把得到的每个分数除以 d k \sqrt{d_k} dk​ ​。 d k d_k dk​是Key向量的维度。这一步的目的是为了在反向传播时，求梯度时更加稳定。

s c o r e 11 = q 1 ⋅ k 1 d k score_{11} = \frac{q_1 \cdot k_1}{\sqrt{d_k}} score11​=dk​ ​q1​⋅k1​​

s c o r e 12 = q 1 ⋅ k 2 d k score_{12} = \frac{q_1 \cdot k_2}{\sqrt{d_k}} score12​=d

最低0.47元/天 解锁文章
【深度学习的骨架与脉搏】注意力机制（四）（多头注意力机制）
十二月的猫
04-28 8473
前文，我们介绍了自注意力机制：自注意力的QKV是同源的。同源的好处就是更容易发现序列内部的信息，但是也存在一些可以改进的地方。例如：对于一个待分析的序列矩阵，它存在许多方面的特征。此时我们要用一个参数矩阵Wq、Wk去分析并学习出序列中的这么多特征。由于参数矩阵的维度是有限的，所以一次性学习多特征的信息必然会造成信息学习的模糊性，所以作者又提出了多头注意力机制下图为多头注意力机制模型图：它为注意力机制提供了多个投射子空间的可能。
【YOLOv10改进 - 注意力机制】 CascadedGroupAttention：级联组注意力，增强视觉Transformer中多头自注意力机制的效率和有效性
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-06 650
视觉Transformer由于其强大的模型能力，已经展示了巨大的成功。然而，其显著的性能伴随着高计算成本，这使得它们不适合实时应用。在本文中，我们提出了一系列高速视觉Transformer，命名为EfficientViT。我们发现现有Transformer模型的速度通常受限于内存效率低的操作，尤其是MHSA中的张量重塑和元素级函数。因此，我们设计了一个新的构建块，采用三明治布局，即在高效的FFN层之间使用单个内存绑定的MHSA，以提高内存效率同时增强通道通信。
多头注意力机制（Multi-Head Attention）
帆的博客
06-23 2512
多头注意力机制的引入是为了增强模型的能力，使其能够从不同的角度关注输入序列的不同部分，从而捕捉更多层次的信息。其中 (i) 表示第 (i) 个头，(\mathbf{W}_i^Q, \mathbf{W}_i^K, \mathbf{W}_i^V) 是线性变换矩阵。如果有 (h) 个头，每个头的输出维度是 (d_k)，则连接后的维度为 (h \times d_k = d_{model})。假设输入的维度是 (d_{model})，头的数量是 (h)，每个头的维度是 (d_k = d_{model} / h)。
多头注意力机制的原理、设计与进阶优化
最新发布
2501_90114783的博客
10-08 1191
多头注意力机制通过并行计算多个独立注意力头，捕捉输入序列的多元语义关系，显著提升了模型的表达能力。其核心流程包括线性投影、多头拆分、并行注意力计算和结果聚合四个步骤。相比单头注意力，多头设计能同时建模多种特征交互模式，提高计算效率，并增强长距离依赖捕获能力。理论分析和实验验证表明，多头注意力通过子空间特化、并行梯度优化等机制，实现了更高效稳定的特征学习。该机制已成为Transformer架构的核心组件，其设计思想持续推动着深度学习模型的发展。
多头注意力机制(CV)
weixin_52056073的博客
12-06 2317
虽然代码中通过 reshape和 permute。
多头注意力机制(Multi-Head Self-Attention)
qq_61694719的博客
10-15 516
允许注意力机制组合使用Query、Key和Value的不同子空间表示可能有益的。先利用独立学习得到的h组不同的线性投影来变换Query、Key和Value；然后，将这h组变换后的Query、Key和Value并行送到注意力汇聚中；最后，将这h个注意力汇聚的输出拼接在一起，并且通过另一个可以学习的线性投影进行变换，来输出最终的结果。
多头注意力机制
qq_36892712的博客
06-17 4196
多头自注意力机制是自注意力机制（Self-Attention）的一种扩展形式，它通过将输入数据分为多个头（Head），并对每个头进行自注意力计算，最后将多个头的结果拼接起来，得到最终的输出。使用多头自注意力可以使得模型在处理长序列数据时更加有效。
【YOLOv10改进 - 注意力机制】 MHSA：多头自注意力（Multi-Head Self-Attention）
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-05 1322
我们介绍了BoTNet，这是一个概念简单但功能强大的骨干架构，将自注意力引入多个计算机视觉任务，包括图像分类、物体检测和实例分割。通过仅在ResNet的最后三个瓶颈块中用全局自注意力替换空间卷积，而不进行其他更改，我们的方法在实例分割和物体检测任务上显著提升了基线性能，同时减少了参数，延迟方面的开销也极小。通过设计BoTNet，我们还指出了带自注意力的ResNet瓶颈块可以视为Transformer块。
【YOLOv8改进 - 注意力机制】 MHSA：多头自注意力（Multi-Head Self-Attention）
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-01 2339
我们介绍了BoTNet，这是一个概念简单但功能强大的骨干架构，将自注意力引入多个计算机视觉任务，包括图像分类、物体检测和实例分割。通过仅在ResNet的最后三个瓶颈块中用全局自注意力替换空间卷积，而不进行其他更改，我们的方法在实例分割和物体检测任务上显著提升了基线性能，同时减少了参数，延迟方面的开销也极小。通过设计BoTNet，我们还指出了带自注意力的ResNet瓶颈块可以视为Transformer块。
基于多头注意力胶囊网络的文本分类模型
05-25
文本序列中各单词的重要程度以及其之间的依赖关系对于识别文本类别有重要影响.胶囊网络不能选择性关注文本中重要单词,并且由于不能编码远距离依赖关系,在识别具有语义转折的文本时有很大局限性。
注意力机制 - 多头注意力
yingzi的技术博客
09-13 2643
在实践中，当给定相同的查询、键和值的集合时，我们希望模型可以基于相应的注意力机制学习到不同的行为，然后将不同的行为作为知识组合起来，捕获序列内各种范围的依赖关系（例如，段距离依赖和长距离依赖关系）。因此，运行注意力机制组合使用查询、键和值的不同子空间表示（representation subspaces）可能时有益的为此，与其只使用单独一个注意力汇聚。我们可以用独立学习得到的h组不同的线性投影（linear projections）来变换查询、键和值。
注意力机制-多头注意力
Tc、zyh的博客
03-29 2万+
文章目录多头注意力 多头注意力 给定一个Query(查询)和一系列的Key-Value对一起映射出一个输出。包括下面三个关键性步骤： 将Query与Key进行相似性度量 将求得的相似性度量进行缩放标准化 将权重与value进行加权 在实践中，当给定相同的查询、键和值的集合时， 我们希望模型可以基于相同的注意力机制学习到不同的行为， 然后将不同的行为作为知识组合起来， 捕获序列内各种范围的依赖关系 （例如，短距离依赖和长距离依赖关系）。 因此，允许注意力机制组合使用查询、键和值的不同 子空间表示（repr
Multi-head Self-attention（多头注意力机制）
jcandzero的博客
10-07 6132
Multi-head Self-attention（多头注意力机制）是怎么样的实现过程
Multi Self-Attention(多头自注意力机制）
qq_72354549的博客
06-03 5173
一下是我对李宏毅老师-自注意力机制的总结首先看图：假设我们输入有四个向量，这四个向量是有关系的，而如果我们将self-attention这个模块拿走，那么就相当于是把这四个输入当作毫无关系的向量进行处理然后得到四个输出。所以：self-attention这个模块的作用就是将这四个输入联系起来使我们的输出与这四个输入都有关。
多头自注意力机制
ruibowu的博客
03-17 7409
本文为《Attention Is All You Need》精读中的一个拓展 论文- 《Attention Is All You Need》 为了学到多重语意含义的表达，进行多头注意力机制的运算。不要被这个多头注意力给吓住，其实这里面就是用到了几个矩阵运算，先不用管怎么运算的，我...
动手学深度学习（五十）——多头注意力机制
热门推荐
Liu Feng's Blog
02-21 8万+
文章目录1. 为什么用多头注意力机制2. 什么是多头注意力机制3. 多头注意力机制模型和理论计算4. 动手实现多头注意力机制层小结练习 1. 为什么用多头注意力机制 所谓自注意力机制就是通过某种运算来直接计算得到句子在编码过程中每个位置上的注意力权重；然后再以权重和的形式来计算得到整个句子的隐含向量表示。 自注意力机制的缺陷就是：模型在对当前位置的信息进行编码时，会过度的将注意力集中于自身的位置， 因此作者提出了通过多头注意力机制来解决这一问题。 2. 什么是多头注意力机制   在实践中，当给定
transformer-XL注意力计算公式
02-08
### Transformer-XL中的注意力机制 在Transformer-XL中，为了处理长期依赖并允许模型推广到更长的序列，引入了一种相对位置编码方案以及分段循环机制。具体来说，在计算自注意力时，不仅考虑当前片段内的token之间的关系，还会利用之前片段的信息。 对于标准的多头自注意力层，其核心公式如下： 给定查询向量 \( Q \)，键向量 \( K \)，值向量 \( V \)，则第\( h \)个头部下的加权求和表示为: \[ \text{head}_h = \text{softmax}\left(\frac{{QW^{(Q)}_i{(K W^{(K)}_i)}^\top}}{\sqrt{d_k}}\right)VW^{(V)}_i \] 其中 \( d_k \) 是缩放因子，用于防止点积过大而使梯度消失或爆炸；\( W^{(Q)}, W^{(K)}, W^{(V)} \)分别是线性变换矩阵[^1]。 然而，在Transformer-XL里，为了让模型能够记住过去的内容，并且可以有效地捕捉长时间跨度上的模式，对上述公式进行了改进。特别地，加入了相对位置偏置项来增强距离感知能力。因此，最终版本的attention score变为： \[ b_{ij} = c + u_i^T v_j + w_r^Tr(i-j), i,j∈[0,T-1], r∈[-C,C] \] 这里， - \( T \) 表示时间步数； - \( C \) 定义了最大可访问的记忆范围； - \( u,v,w_r \) 都是由网络学习得到的参数向量； - \( r(x)=sign(x)\cdot min(|x|,C) \) 通过这种方式，即使输入序列超出训练期间遇到的最大长度，该方法仍然有效工作[^2]。 ```python import torch.nn.functional as F def relative_positional_encoding(query_len, key_len, embed_dim_per_head): """Generate sinusoidal positional encodings with relative positions.""" pos_enc = ... # Generate position encoding matrix return pos_enc class MultiHeadAttention(nn.Module): def __init__(self,...): ... def forward(self, query, key, value, rel_pos_emb=None): scores = torch.matmul(query, key.transpose(-2,-1)) / math.sqrt(d_k) if rel_pos_emb is not None: scores += self.relative_attn_bias(rel_pos_emb).unsqueeze(0) p_attn = F.softmax(scores,dim=-1) output = torch.matmul(p_attn,value) return output,p_attn ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值