attention is all your need 之 multihead_attention

最新推荐文章于 2025-07-09 11:32:43 发布
最新推荐文章于 2025-07-09 11:32:43 发布
阅读量306 收藏
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_21157073/article/details/97887019
本文深入探讨了多头注意力机制的工作原理，展示了如何通过不同子空间获取特征，以提升模型表现。具体介绍了从输入数据到注意力计算的全过程，包括全连接层映射、split与concat操作，以及scaled_dot_product_attention的计算方式。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

多头注意力使得模型能够从不同的子空间获取特征，首先结构如下：

假如Q，K，V对应的都是（2，3，6）的数据块，使用h=2的两头注意力来操作。首先使用3个全连接分别对Q，K，V进行映射得到3个（2，3，6）Tensor，然后每个Tensor的最后一维进行split（2）操作（h=2，两头注意力），将每个Tensor切为两个（3，3），然后在第一维上进行concat操作，这样就得到4个（3，3）Q_，4个（3，3）的K_，4个（3，3）的V_。下图表示对Q进行操作，K和V也同理：
进行split和concat操作后，相当于一个2条数据的batch变成4条数据的batch，进行注意力的计算互不干扰，使用scaled_dot_product_attention进行attention操作，依旧使用公式：
在《Attention is all your need》中h为8，也就是会分为8个子注意力来并行计算。最后在计算完成后将8个子注意力拼接在一块。
DeepWWJ
关注
Multi-Head Attention详解
wangyifan123456zz的博客
02-29 3683
文中大部分内容以及图片来自：https://medium.com/@hunter-j-phillips/multi-head-attention-7924371d477a当使用 multi-head attention 时，通常d_key = d_value =（d_model / n_heads），其中n_heads是头的数量。研究人员称，通常使用平行注意层代替全尺寸性，因为该模型能够“关注来自不同位置的不同表示子空间的信息”。
深度探索：机器学习中的多头注意力机制（Multi-Head Attention）原理及应用
qq_51320133的博客
04-29 1万+
多头注意力机制自提出以来，已经成为深度学习领域的一项革命性创新，特别是在自然语言处理领域，它推动了Transformer架构的兴起，彻底改变了这一领域的技术格局。其核心优势在于强大的序列信息处理能力、高效的并行计算以及对复杂依赖关系的精确捕捉，使得模型能够学习到更加细腻和丰富的特征表示。 展望未来，多头注意力机制的研究方向将更加多元： 理论探索：进一步研究多头注意力的内在机制，提升其可解释性，理解每个头的特异性和作用，为模型设计提供理论指导。 效率优化：随着模型规模的不断扩大，如何在保持性能的同时，降低
<<attention is all you need>>速读笔记
anqiu4023的博客
10-08 417
背景 在seq2seq中，一般是有一个encoder 一个decoder ，一般是rnn/cnn 但是rnn 计算缓慢，所以提出了纯用注意力机制来实现编码解码。 模型结构 大部分神经序列转导模型都有一个编码器-解码器结构。这里，编码器映射一个用符号表示的输入序列(x1,...,xn)到一个连续的表示z= (z1,...,zn)。根据z，解码器生成符号的一个输出序列(...
Multi-Head Attention （多头注意力）机制详解
最新发布
weixin_67868534的博客
07-09 695
多头注意力机制(Multi-HeadAttention)是Transformer的核心组件，通过并行多个自注意力头在不同子空间学习多样特征表示。其计算过程包括：1)将输入映射到多个子空间；2)每个头独立计算注意力权重；3)拼接各头输出并线性变换。该机制保持了与单头注意力相同的计算复杂度，但获得了更丰富的表达能力，能同时捕捉局部和全局依赖关系。其优势在于并行计算高效性、多特征学习能力以及复杂关系建模，使Transformer超越传统RNN/LSTM在处理长序列时的性能。
Multi-Head Attention
cxy666
06-27 621
.>删除线格式
multi-Head Attention
sinat_41053216的博客
10-22 786
大语言模型中一个"计算块"是由多个 自注意（self-attention）和反向传播组成， 然而一般LLM使用的是 masked self-attention 以及 multi-headed self-attention。
自然语言处理课程论文：《Attention is all you need》复现与解读
m0_64198455的博客
06-25 4304
1.3.1 机器翻译机器翻译是指利用计算机技术将一种语言的文本转换为另一种语言的文本。常见的机器翻译方法包括基于规则的方法、基于统计的方法和基于神经网络的方法。基于规则的方法依赖于语言学规则和词典，而基于统计的方法则通过学习源语言和目标语言之间的对应关系来进行翻译。近年来，基于神经网络的端到端机器翻译方法由于其优秀的性能和灵活性而备受关注。Transformer 模型作为一种基于注意力机制的神经网络结构，已经成为了机器翻译领域的主流方法之一，取得了令人瞩目的翻译效果。
【Transformer】Attention Is All You Need
m0_55589282的博客
07-11 998
**Attention Is All You Need**
Attention Is All You Need--论文笔记
dezwb的博客
06-03 1204
主要的序列转导模型是基于复杂的RNN（循环神经网络）或CNN（卷积神经网络），一个编码器和一个解码器。表现最好的模型还通过注意机制连接的编码器和解码器。我们提出了一个新的简单的网络架构，Transformer，完全基于注意力机制，完全摒弃循环和卷积。在两个机器翻译任务上的实验表明，这些模型在质量上更优越，同时更具并行性，并且需要更少的训练时间。我们的模型在WMT 2014英语-德语翻译任务上实现了28.4 BLEU，比现有的最佳结果(包括集合)提高了2个BLEU以上。
论文笔记《Attention Is All You Need》
丶Karl的博客
02-10 2248
Attention Is All You Need：Transformer开山之作。
Attention Is All You Need
lpty的博客
01-07 2766
引言 google 在2017年发布的一篇论文，即是transformer，原文地址：Attention Is All You Need
Attention_self attention_multi head attention
08-08
该文档主要介绍了attention及其变种self attention 、multi-attention以及一些相关的paper
Multihead Attention - 多头注意力
西小庄村高伟 的博客
11-02 7094
多头注意力的基本概念及实现
Multihead-Attention 学习笔记
qq_42811373的博客
12-29 758
为什么产生Multihead-Attention 一个Attention获得一个表示空间，如果多个Attention，则可以获得多个不同的表示空间。基于这种想法，就有了Multi-Head Attention。换句话说，Multi-Head Attention为Attention提供了多个“representation subspaces”。 因为在每个Attention中，采用不同的Query / Key / Value权重矩阵，每个矩阵都是随机初始化生成。 不同的Q负责不同方面的相关性。 解决单个关系衡
【自然语言处理】多头注意力机制 Multi-Head Attention
藓类少女的博客
10-15 5554
多头注意力机制通过多个不同的头来并行计算多个注意力分布，使得模型能够从多个角度捕获输入序列中的不同特征。其关键优势在于增强了模型的表示能力，同时可以有效并行化计算，在自然语言处理、计算机视觉等领域取得了广泛的成功。
Multi-Head Attention的讲解
qq_41980734的博客
10-19 1万+
Multi-Head Attention的讲解 一、什么是 Attention Attention机制最早是在视觉图像领域提出来的，应该是在九几年思想就提出来了，但是真正火起来应该算是2014年google mind团队的这篇论文《Recurrent Models of Visual Attention》，他们在RNN模型上使用了attention机制来进行图像分类。2017年，google机器翻译团队发表的《Attention is all you need》中大量使用了自注意力（self-attenti
Attention，Multi-head Attention--注意力，多头注意力详解
热门推荐
m0_46614636的博客
03-26 4万+
Attention 首先谈一谈attention。 注意力函数其实就是把一个query，一个key-value的集合映射成一个输出。 其中query，key，value，output（Attention Value）都是向量。 输出是values的加权求和，是query与当前key的相关程度。 Attention 函数的本质可以被描述为： 一个查询（query）到一个系列（键key-值value）对的映射。 例如：计算A与B的attention，就是用A的Q与B的K-V来计算。 Scaled Do
一篇搞懂多头注意力（Multi-Head Attention）
Code1994的博客
11-02 5389
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
【AI大模型】一文彻底搞懂Transformer - 多头注意力（Multi-Head Attention）
2401_85325397的博客
11-29 1381
在深度学习中，多头注意力（Multi-Head Attention）是一种注意力机制。它是对传统注意力机制的一种改进，旨在通过分割输入特征为多个“头部”（head）并独立处理每个头部来提高模型的表达能力和学习能力。 多头注意力机制已被广泛应用于各种深度学习任务中，包括但不限于机器翻译、文本摘要、语音识别、图像描述生成等。它在Transformer架构中扮演着至关重要的角色，而Transformer架构也已成为许多自然语言处理（NLP）任务的首选模型。
attention is all you need pytorch复现
03-26
### 关于 'Attention Is All You Need' 论文中模型的 PyTorch 实现 在探索 'Attention Is All You Need' 这篇经典论文中的 Transformer 模型时，可以利用开源社区提供的资源来快速获取其实现代码。以下是对该问题的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值