图解Transformer模型(Multi-Head Attention)

最新推荐文章于 2025-03-22 19:06:18 发布
最新推荐文章于 2025-03-22 19:06:18 发布
阅读量1.9w 收藏 86
点赞数 40
分类专栏： 自然语言处理 文章标签： Transformer Multi-Head Attention Scaled Dot Product Attention 文本分类
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/black_shuang/article/details/95384597
版权
本文深入解析Transformer模型中的Multi-Head Attention机制，包括Scaled Dot-Product Attention的工作原理，以及如何避免使用Recurrent model来捕获上下文信息。内容包括Transformer的背景、Encoder的构成，特别是Multi-Head Attention的实现方式，以及Decoder部分如何应用Attention。通过实例解释了每个部分的作用，并简要介绍了Transformer在生成式模型（如机器翻译）中的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文内容主要源于Attention is all you need: https://arxiv.org/abs/1706.03762

由于本人最近在研究文本的判别式模型,如文本分类任务,所以学习了Transformer,并根据自己的理解制作了PPT介绍总结Transformer中几个比较重要的部分.

文章内容为本人制作的PPT，同时在需要解释的slide写上了补充说明;

主要内容包括

1.Transformer的提出背景;

2.Transformer的Encoder(Scaled Dot-Product Attention,Multi-head-Attention)较为详细的图解，部分图引自《Attention is all you need》一文;

3.虽然本人主要是应用于判别式模型，但是最后简单介绍了包含Decoder部分，梳理了Transformer的整个流程;

Slide 1

Slide 2

Slide 3

最低0.47元/天 解锁文章
层层剖析，让你彻底搞懂Self-Attention、MultiHead-Attention和Masked-Attention的机制和原理
iioSnail的博客
02-10 2万+
本文内容 本文基于李宏毅老师对 Self-Attention 的讲解，进行理解和补充，并结合Pytorch代码，最终目的是使得自己和各位读者更好的理解Self-Attention 李宏毅Self-Attention链接: https://www.youtube.com/watch?v=hYdO9CscNes PPT链接见视频下方 通过本文的阅读，你可以获得以下知识： 什么是Self-Attention，为什么要用Self-Attention？ Self-Attention是如何做的？ Self-Atten
Transformer之multi-head
wangyifan123456zz的博客
02-29 647
当我们对“it”这个词进行编码时，一个注意力头主要关注“animal”，而另一个注意力头主要关注“tired”——从某种意义上说，模型对“it”这个词的表征融合了“动物”和“累”的一些表征。我意识到这是相当多的矩阵。既然我们已经触及了注意头，让我们回顾一下之前的例子，看看当我们在例句中对单词 “it” 进行编码时，不同的注意头集中在哪里。如果我们做同样的 self-attention 计算，只是8次不同的权重矩阵，我们最终会得到8个不同的Z矩阵。我们连接矩阵，然后将它们乘以一个附加的权重矩阵WO。
[笔记.AI]多头自注意力机制（Multi-Head Attention）
最新发布
:: Dotnet Fantasy ::
03-22 1159
多头自注意力最初由Vaswani等人在2017年的论文“Attention Is All You Need”中提出，标志着Transformer模型的诞生。该机制扩展了自注意力，允许模型通过多个并行“头”同时关注输入序列的不同部分。每个头可以学习捕获不同类型的依赖关系，例如短距离的语法结构或长距离的语义关联。根据的内容，多头注意力模块运行注意力机制多次，输出被连接并线性变换。直观上，多个头允许模型以不同方式关注序列部分，例如长距离依赖与短距离依赖。
Transformer模型-5-Multi-Head Attention
2401_85378759的博客
08-27 698
所谓多头，是分别将线性的变换之后的QKV切分为H份，然后对每一份进行后续的self-attention操作。最后再连接并做线性回归产生输出。如下图：观察上图的多头注意力结构的中间的Scaled Dot-Product Attention(点积自注意力)，我们可以把拆为理解为高维向量被拆分为H分低维向量，并在H个低维空间里求解各自的self-Attention。多头注意力的理解代码层面: 把原始的维度切成H份，假如h=8(切成8份)，每份则为512/8=64。在每个64维做相关度(即相乘)计算。
详解Transformer中Self-Attention以及Multi-Head Attention
热门推荐
霹雳吧啦Wz
06-11 16万+
原文名称：Attention Is All You Need 原文链接：https://arxiv.org/abs/1706.03762 最近Transformer在CV领域很火，Transformer是2017年Google在Computation and Language上发表的，当时主要是针对自然语言处理领域提出的（之前的RNN模型记忆长度有限且无法并行化，只有计算完tit_iti​时刻后的数据才能计算ti+1t_{i+1}ti+1​时刻的数据，但Transformer可以）。在这篇文章中作者提出了S
注意力机制----Multi-Head Attention 和 transformer
weiwei935707936的博客
11-08 2127
multi-head attention： 单个attention输入后，对应有三个权重矩阵 multi-head输入后，如果有l个头，就有l×3个参数矩阵 multi-head输出的向量会串联起来，变长 不只是attention，self—attention也有多头 transformer的encoder： transformer的encoder的一层结构：multi—head attention+dense+全连接层 可...
Transformer多头注意力
hellozhxy的博客
06-09 2077
学习 Transformer 的过程中，找到了博客中关于Transformer系统的介绍文章，感觉非常棒，于是进行了翻译。原文链接在文末。翻译主要采用 “DeepL+人工”的方式进行，并加入了一些自己的理解。
Multi-Head self-Attention结构细节
weixin_54039182的博客
05-06 879
详细描写了多头注意力机制的计算原理及过程。
Vision Transformer（vit）的Multi-Head Self-Attention（多头注意力机制）结构
qq_61706514的博客
11-29 2471
接下来，将上一步得到的矩阵结果除以一个缩放因子，通常是Key矩阵维度（d_k）的平方根。这些头的输出会被拼接（Concat）在一起。这个操作的目的是将注意力权重应用到Value上，得到加权的Value，即最终的注意力输出。: 最后，拼接后的结果会通过另一个线性层，这个线性层将不同头的输出整合成一个单一的表示。操作，将多头的输出重新整理成原始的批次和序列长度维度，从而实现了多头输出的拼接（Concat）。#注意力的缩放因子，通常设置为 head_dim ** -0.5，即每个头的维度的倒数平方根。
transformer基础知识集锦
Catherine981234的博客
11-29 747
整理了一些transformer的基础知识：self-attention，cross attention，criss cross attention
Transformer中Multi-Head的理解
DataAlgo
05-26 2015
transformer中multi-head的理解
transformer-multihead 代码
qxdoit的博客
07-02 660
import tensorflow as tf import numpy as np ''' inputs 是一个形如(batch_size,seq_len,word_dim) 的向量 函数返回 一个形如(batch_size,seq_len,position_size) 的位置向量 ''' def Position_Embedding(inputs,position_siz...
Transformer模型-Multi-Head Attention多头注意力的简明介绍
Ankie资深技术项目经理
04-05 1835
今天介绍transformer模型的Multi-Head Attention多头注意力。通过之前文章，假定我们已经理解了attention；今天我们按顺序来梳理一下整合之后的顺序。
Transformer--Multi-headed机制
qq_37217876的博客
01-02 551
在Transformer中一组q，k，v可以得到一种当前词在句中的表达，那么多组就能得到多种表达，从而得到更为精确的词表达
Transformer模型
jiangjiane
02-23 442
转载 https://blog.youkuaiyun.com/qq_41664845/article/details/84969266
【AI大模型】一文彻底搞懂Transformer - 多头注意力（Multi-Head Attention）
2401_85325397的博客
11-29 1088
在深度学习中，多头注意力（Multi-Head Attention）是一种注意力机制。它是对传统注意力机制的一种改进，旨在通过分割输入特征为多个“头部”（head）并独立处理每个头部来提高模型的表达能力和学习能力。 多头注意力机制已被广泛应用于各种深度学习任务中，包括但不限于机器翻译、文本摘要、语音识别、图像描述生成等。它在Transformer架构中扮演着至关重要的角色，而Transformer架构也已成为许多自然语言处理（NLP）任务的首选模型。
transformer模型中的self-attention和multi-head-attention机制
qq_38343151的博客
11-09 1万+
对于《Attention is all you need》这篇文章中提到的transformer模型，自己最初阅读的时候并不是很理解，于是决定从头开始，一点一点梳理transformer模型。这篇论文主要亮点在于： （1）不同于以往主流机器翻译使用基于RNN的seq2seq模型框架，该论文用attention机制代替了RNN搭建了整个模型框架。 （2）提出了多头注意力（Multi-headed...
Transfomer矩阵维度分析及MultiHead详解
muyuu的博客
03-21 4250
目录参数量各结构解析训练阶段Encoder Multihead Attention 解读Transformer就离不开下面这张图： 不同于之前的基于rnn的seq2seq模型，Transfomer完全摒弃了循环神经网络的结构： encoder层： {多头自注意力 + 前馈网络} ×n\times n×n decoder层： {掩蔽多头自注意力 + encoder-decoder多头自注意力 + 前馈网络} ×n\times n×n 下面我们介绍Transformer模型中的参数变化情况： 参数量 对于
[LLM] 自然语言处理---Transformer实现(二)
摩登都市天空---专栏
08-02 7456
目录 Encoder-Decoder框架 一 整体架构 动态流程图 二 Encoder 2.1 Encoder Layer和残差网络 Residual Connection 2.2 Attention Self Attention Multi-head Attention 2.3 Add & Norm LayerNormalization 层归一化 2.4 前馈网络...
multi head transformer
07-28
多头变压器（multi-head transformer）是一种基于注意力机制和自注意力机制的序列到序列模型。它由多个头（head）组成，每个头都有自己的注意力权重矩阵和参数矩阵。在编码器（encoder）部分，多头变压器的一层结构包括多头注意力、全连接层和稠密层。可以堆叠多个这样的层来增加模型的深度。在解码器（decoder）部分，底层是一个多头注意力层，然后将编码器和解码器合并成一个多头注意力层，最后通过稠密层和全连接层输出结果。整个模型的输入和输出大小是相等的。多头变压器不同于循环神经网络（RNN），它没有循环结构，而是基于注意力和自注意力机制。在机器翻译等任务中，多头变压器已经取代了RNN成为主流模型。\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* [注意力机制----Multi-Head Attention 和 transformer](https://blog.youkuaiyun.com/weiwei935707936/article/details/109564082)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [图解Transformer模型(Multi-Head Attention)](https://blog.youkuaiyun.com/black_shuang/article/details/95384597)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值