attention is all your need 之 scaled_dot_product_attention

最新推荐文章于 2025-07-12 09:48:29 发布
最新推荐文章于 2025-07-12 09:48:29 发布
阅读量8k 收藏 40
点赞数 16
CC 4.0 BY-SA版权
分类专栏： attention
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_21157073/article/details/97964816
本文深入解析“scaled_dot_product_attention”在“multihead_attention”中的应用，详细阐述其计算过程，包括Q、K、V向量的计算，mask操作及如何实现注意力机制。

“scaled_dot_product_attention”是“multihead_attention”用来计算注意力的，原文中“multihead_attention”中将初始的Q，K，V，分为8个Q_，8个K_和8个V_来传入“scaled_dot_product_attention”中进行计算。

在“scaled_dot_product_attention”主要就是进行attention的计算以及一些mask操作。首先要知道Attnetion机制的公式以及原理：

公式中Q表示所需计算的注意力项，K为被计算注意力项，V为被注意力项的取值，很多时候K和V是相等的。画图理解一下：

其中Q代表一个（3，7）的向量，K也是一个（3，7）的向量，所以Q×K的转置所得一个（3，3）的向量score，根据score的数学运算可以将score[0,0]理解为Q中第一个向量Q[0,:]与K第一个向量K[0,:]的相似度所以score的第一行代表的就是Q的第一行向量（Q[0,:]）与K中所有向量（K[:,:]）的相似度。然后将所得的结果除以一个标量，公式中是dk，然后通过softmax函数进行映射，所得到的就是Q向量相对于K向量的相似度得分（3，3）。最后通过得到的score（3，3）与V相乘，如下图所示：

所得到的result的第一行就是V中所有向量与score中第一行分数相乘得到的（有点拗口），也就是result是V中向量通过加权得到的，这个权重矩阵就是score，也就使得模型具有了注意力机制。（其实这一块的思想是attention机制中共有的，在seq2seq模型中比较好理解，可以参考着来理解）。
在tensorboard整个“scaled_dot_product_attention”所做的工作就是上面那个公式。总体就是Q*K的转置，然后除以一个标量，然后softmax一下，最后乘以V向量。知识在其中加入了两个mask操作。这是为了将Q和K中一些填充的为零的向量清除掉。这个mask也是个骚操作，理解起来，也不难。

【大模型系列篇】论文解读：Transformer - Attention Is All You Need
木亦汐丫
08-09 2481
当今大模型初学者必读的一篇论文，已经有不少业内大佬都翻译解读过这篇论文，此处仅作为自己学习的记录。该论文是由谷歌机器翻译团队于2017年发表在NIPS ，提出了一个只基于attention的结构来处理序列模型相关的问题，比如机器翻译。相比传统的CNN与RNN来作为Encoder-Decoder的模型，谷歌这个模型摒弃了固有的方式，并没有使用任何的CNN或者RNN的结构，该模型可以高度并行的工作，相比以前串行并且无法叠加多层、效率低的问题。
自然语言处理课程论文：《Attention is all you need》复现与解读
m0_64198455的博客
06-25 4341
1.3.1 机器翻译机器翻译是指利用计算机技术将一种语言的文本转换为另一种语言的文本。常见的机器翻译方法包括基于规则的方法、基于统计的方法和基于神经网络的方法。基于规则的方法依赖于语言学规则和词典，而基于统计的方法则通过学习源语言和目标语言之间的对应关系来进行翻译。近年来，基于神经网络的端到端机器翻译方法由于其优秀的性能和灵活性而备受关注。Transformer 模型作为一种基于注意力机制的神经网络结构，已经成为了机器翻译领域的主流方法之一，取得了令人瞩目的翻译效果。
Scaled Dot-Product Attention
YHKKun的博客
03-28 1503
Scaled Dot-Product Attention 是Transformer模型中核心的注意力机制之一，它的基本思想是通过计算query（查询）向量与一组key（键）向量之间的点积相似度，并通过softmax函数转换为概率分布，然后用这个概率分布加权value（值）向量，从而聚焦在最重要（相似度最高）的信息上。softmax函数将所有位置上的注意力得分转换为概率形式，使得它们总和为1，从而决定在计算最终输出时各位置值向量（Value）的相对重要性。（Scaling）： 由于随着维度。
NLP实践-Task10
伽音的博客
03-23 442
1.transformer 　　 图一、The Transformer Architecture 　　如图一所示是谷歌提出的transformer 的架构。这其中左半部分是 encoder 右半部分是 decoder。 Encod...
YOLO12提示：FlashAttention is not available on this device. Using scaled_dot_product_attention instead
最新发布
weixin_45231460的博客
07-12 339
在使用YOLO12训练时出现CUDA错误，可能与flash-attn版本不兼容有关。建议先检查当前安装的flash-attn 2.7.3是否与CUDA11.8、torch2.5、Python3.10环境匹配。若问题仍存在，可尝试降级到flash-attn 2.7.0.post1版本。下载地址为Dao-AILab的GitHub releases页面。环境配置错误是深度学习中常见问题，确保各组件版本兼容性通常能解决此类报错。
深度学习理论基础（六）Transformer多头自注意力机制
qq_1033275663的博客
04-02 3354
深度学习中的注意力机制（Attention Mechanism）是一种模仿人类视觉和认知系统的方法，它允许神经网络在处理输入数据时集中注意力于相关的部分。通过引入注意力机制，神经网络能够自动地学习并选择性地关注输入中的重要信息，提高模型的性能和泛化能力。下图 展示了人类在看到一幅图像时如何高效分配有限注意力资源的，其中红色区域表明视觉系统更加关注的目标，从图中可以看出：人们会把注意力更多的投入到人的脸部。常见方法：求两者的向量点积（内积）、求两者向量Cosine相似性、引入额外的神经网络求值（MLP）。
Scaled Dot-Product Attention详解
发几十块的吧
08-13 4466
本文详细介绍了 Scaled Dot-Product Attention 的机制、计算步骤、以及一个详细的计算过程样例。
Attention is all you need详细解读
zhaosuyuan的博客
11-12 530
Attention is all you need
【Transformer】Attention Is All You Need
m0_55589282的博客
07-11 1002
**Attention Is All You Need**
Attention Is All You Need 中文版
胭脂草的ABC博客
06-21 1727
Attention Is All You Need 中文版 文章目录 Attention Is All You Need 摘要 1 Introduction（简介） 2 Background（背景） 3 Model Architecture（模型结构） 3.1 Encoder and Decoder Stacks（编码器栈和解码器栈） 3.2 Attention（注意力机制） 3.2.1 Scaled Dot-Product Attention
深度探索：机器学习中的缩放点积注意力（Scaled Dot-Product Attention）原理及应用
热门推荐
qq_51320133的博客
05-01 1万+
缩放点积注意力机制作为现代深度学习模型的核心组件，其简洁而强大的设计极大地推进了自然语言处理、计算机视觉乃至推荐系统等多个领域的进步。它通过直接、高效地捕获序列数据中的长距离依赖，克服了传统序列模型的局限性，促进了如Transformer这样的革命性模型的诞生。 然而，尽管取得了显著成就，缩放点积注意力仍有优化空间。未来的研究方向可能包括： 提高效率与降低资源消耗：探索更为高效的注意力计算方法，减少计算和内存需求，特别是在处理大规模数据集和超长序列时。 增强位置信息编码：虽然已有工作通过相对位置编码等方
Scaled dot-product Attention、Self-Attention辨析
PuJiang-的博客
08-22 7666
一、Scaled dot-product Attention 有两个序列X、YX、YX、Y：序列XXX提供查询信息QQQ，序列YYY提供键、值信息K、VK、VK、V。Q∈Rx_len×in_dimQ\in R^{{x\_len}\times {in\_dim}}{}Q∈Rx_len×in_dimK∈Ry_len×in_dimK\in R^{{y\_len}\times {in\_dim}}{}K∈Ry_len×in_dimV∈Ry_len×out_dimV\in R^{{y\_len}\times {out
Scaled dot-prodect Attention的原理和实现（附源码）
专注AI领域
05-16 3633
如上图，由于一个hidden无法涵盖所有的Source句子信息，故将句子中每个字对应的hidden信息都输入到Attention中，再将Attention作为Decoder的输入，这样就可以防止Source句子信息的丢失。
SDPA:Scaled Dot-Product Attention（缩放点积注意力）
jerwey的博客
04-17 1071
Scaled Dot-Product Attention（缩放点积注意力）是 Transformer 架构中的核心机制，由。它用于计算输入序列中不同位置之间的相关性，从而动态调整权重，使模型能够关注最重要的信息。如果你在实现 Transformer 或阅读相关论文时遇到它，现在应该能清晰理解它的原理了！
注意力机制：多头注意力（MultiHeadAttention+缩放点积注意力(scaled dot-product attention)代码详细实现+手动绘制的MultiHeadAttention网络
weixin_41686431的博客
03-19 2810
最终输出的形状:(batch_size*num_heads,查询或者“键－值”对的个数, num_hiddens/num_heads)# 输出X的形状:(batch_size，num_heads，查询或者“键－值”对的个数, num_hiddens/num_heads)# 输出X的形状:(batch_size，查询或者“键－值”对的个数，num_heads，num_hiddens/num_heads)# valid_lens的形状：（batch_size, ）或者（batch_size, 查询的个数）
一步一步理解大模型：缩放点积注意力机制
chattyfish的博客
04-19 7857
具体来说，Multi-Head Attention将输入矩阵分别进行多个头的线性变换，然后对每个头的变换结果分别计算Scaled Dot-Product Attention，最后将每个头的Attention结果拼接在一起并通过一个线性变换输出。通过这种方式，Scaled Dot-Product Attention可以计算出Query和Key之间的相似度，同时考虑了Value矩阵对最终结果的影响，进而实现了注意力机制的作用。将scores除以d_k的平方根（np.sqrt(d_k)），这就是所谓的缩放，
LLM 优化技术(1)——Scaled-Dot-Product-Attention(SDPA)
哦豁灬
03-28 6043
在 Transformer 中抛弃了传统的 CNN 和 RNN，整个网络结构完全由和组成。一个基于 Transformer 的可训练的神经网络可以通过堆叠 Transformer 的形式进行搭建，论文中通过搭建编码器(encoder)和解码器(decoder)各 6 层，总共 12 层的，并在机器翻译中取得了 BLEU 值的新高。这里先之看这个接口。
scale_dot_product_attention and multi_head_attention tf2.x
github_39605284的博客
05-11 553
import matplotlib as mpl import numpy as np import sklearn import pandas as pd import os import sys import time import tensorflow as tf from tensorflow import keras print(tf.__version__) print(sys.version_info) for module in mpl, np, pd, sklearn, tf, ker
Attention Is All You Need翻译
04-30
### 'Attention Is All You Need' 论文的核心概念 该论文提出了一个新的神经网络架构——Transformer[^4]，它完全摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN），转而采用纯粹的注意力机制来完成序列转换任务。这一创新使得模型在性能上有显著提升的同时，也大幅改善了训练效率。 #### Transformer 的核心组成部分 Transformer 主要由两大部分组成：编码器（Encoder）和解码器（Decoder）。两者都依赖一种称为 **自注意力机制（Self-Attention Mechanism）** 的技术来捕捉输入序列中的长期依赖关系[^3]。具体来说： 1. **自注意力机制的作用** 自注意力机制允许模型在同一序列的不同位置之间建立联系，从而有效地提取上下文信息。这种机制不仅适用于单一句子内的单词间关系建模，还可以扩展至跨句子甚至更大范围的时间序列分析[^2]。例如，在自然语言处理领域中，它可以用来识别一段话中不同词语之间的相互作用。 2. **Scaled Dot-Product Attention (缩放点积注意力)** 这一方法通过计算查询向量 \( Q \)、键向量 \( K \)，以及值向量 \( V \) 来实现高效的注意力权重分配过程[^1]。公式如下所示： ```python import torch def scaled_dot_product_attention(query, key, value, mask=None): d_k = query.size(-1) scores = torch.matmul(query, key.transpose(-2, -1)) / torch.sqrt(torch.tensor(d_k).float()) if mask is not None: scores = scores.masked_fill(mask == 0, float('-inf')) p_attn = torch.softmax(scores, dim=-1) output = torch.matmul(p_attn, value) return output, p_attn ``` 3. **Multi-Head Attention (多头注意力)** 多头注意力进一步增强了模型的能力，因为它可以并行地执行多个独立的注意力操作，并最终将它们的结果组合在一起。这种方法有助于缓解因平均化位置表示而导致的有效分辨率下降问题。 #### Transformer 架构的优势 相比于之前的 RNN 和 CNN 基础模型，Transformers 提供了几项明显的技术改进： - 更高的并行度支持快速训练； - 减少了远程依赖的学习难度； - 显著提升了翻译质量和泛化能力。 例如，在 WMT 2014 英语到德语的任务测试中，使用 Transformers 实现的新 BLEU 得分为 28.4，超越当时已有的最优方案至少两个百分点以上[^4]。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值