attention is all your need 之 scaled_dot_product_attention

最新推荐文章于 2025-07-12 09:48:29 发布
最新推荐文章于 2025-07-12 09:48:29 发布
阅读量8k 收藏 40
点赞数 16
CC 4.0 BY-SA版权
分类专栏： attention
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_21157073/article/details/97964816
本文深入解析“scaled_dot_product_attention”在“multihead_attention”中的应用，详细阐述其计算过程，包括Q、K、V向量的计算，mask操作及如何实现注意力机制。

“scaled_dot_product_attention”是“multihead_attention”用来计算注意力的，原文中“multihead_attention”中将初始的Q，K，V，分为8个Q_，8个K_和8个V_来传入“scaled_dot_product_attention”中进行计算。

在“scaled_dot_product_attention”主要就是进行attention的计算以及一些mask操作。首先要知道Attnetion机制的公式以及原理：

公式中Q表示所需计算的注意力项，K为被计算注意力项，V为被注意力项的取值，很多时候K和V是相等的。画图理解一下：

其中Q代表一个（3，7）的向量，K也是一个（3，7）的向量，所以Q×K的转置所得一个（3，3）的向量score，根据score的数学运算可以将score[0,0]理解为Q中第一个向量Q[0,:]与K第一个向量K[0,:]的相似度所以score的第一行代表的就是Q的第一行向量（Q[0,:]）与K中所有向量（K[:,:]）的相似度。然后将所得的结果除以一个标量，公式中是dk，然后通过softmax函数进行映射，所得到的就是Q向量相对于K向量的相似度得分（3，3）。最后通过得到的score（3，3）与V相乘，如下图所示：

所得到的result的第一行就是V中所有向量与score中第一行分数相乘得到的（有点拗口），也就是result是V中向量通过加权得到的，这个权重矩阵就是score，也就使得模型具有了注意力机制。（其实这一块的思想是attention机制中共有的，在seq2seq模型中比较好理解，可以参考着来理解）。
在tensorboard整个“scaled_dot_product_attention”所做的工作就是上面那个公式。总体就是Q*K的转置，然后除以一个标量，然后softmax一下，最后乘以V向量。知识在其中加入了两个mask操作。这是为了将Q和K中一些填充的为零的向量清除掉。这个mask也是个骚操作，理解起来，也不难。

【大模型系列篇】论文解读：Transformer - Attention Is All You Need
木亦汐丫
08-09 2541
当今大模型初学者必读的一篇论文，已经有不少业内大佬都翻译解读过这篇论文，此处仅作为自己学习的记录。该论文是由谷歌机器翻译团队于2017年发表在NIPS ，提出了一个只基于attention的结构来处理序列模型相关的问题，比如机器翻译。相比传统的CNN与RNN来作为Encoder-Decoder的模型，谷歌这个模型摒弃了固有的方式，并没有使用任何的CNN或者RNN的结构，该模型可以高度并行的工作，相比以前串行并且无法叠加多层、效率低的问题。
自然语言处理课程论文：《Attention is all you need》复现与解读
m0_64198455的博客
06-25 4353
1.3.1 机器翻译机器翻译是指利用计算机技术将一种语言的文本转换为另一种语言的文本。常见的机器翻译方法包括基于规则的方法、基于统计的方法和基于神经网络的方法。基于规则的方法依赖于语言学规则和词典，而基于统计的方法则通过学习源语言和目标语言之间的对应关系来进行翻译。近年来，基于神经网络的端到端机器翻译方法由于其优秀的性能和灵活性而备受关注。Transformer 模型作为一种基于注意力机制的神经网络结构，已经成为了机器翻译领域的主流方法之一，取得了令人瞩目的翻译效果。
Scaled Dot-Product Attention
YHKKun的博客
03-28 1515
Scaled Dot-Product Attention 是Transformer模型中核心的注意力机制之一，它的基本思想是通过计算query（查询）向量与一组key（键）向量之间的点积相似度，并通过softmax函数转换为概率分布，然后用这个概率分布加权value（值）向量，从而聚焦在最重要（相似度最高）的信息上。softmax函数将所有位置上的注意力得分转换为概率形式，使得它们总和为1，从而决定在计算最终输出时各位置值向量（Value）的相对重要性。（Scaling）： 由于随着维度。
Scaled Dot-Product Attention详解
发几十块的吧
08-13 4508
本文详细介绍了 Scaled Dot-Product Attention 的机制、计算步骤、以及一个详细的计算过程样例。
YOLO12提示：FlashAttention is not available on this device. Using scaled_dot_product_attention instead
最新发布
weixin_45231460的博客
07-12 397
在使用YOLO12训练时出现CUDA错误，可能与flash-attn版本不兼容有关。建议先检查当前安装的flash-attn 2.7.3是否与CUDA11.8、torch2.5、Python3.10环境匹配。若问题仍存在，可尝试降级到flash-attn 2.7.0.post1版本。下载地址为Dao-AILab的GitHub releases页面。环境配置错误是深度学习中常见问题，确保各组件版本兼容性通常能解决此类报错。
深度探索：机器学习中的缩放点积注意力（Scaled Dot-Product Attention）原理及应用
热门推荐
qq_51320133的博客
05-01 1万+
缩放点积注意力机制作为现代深度学习模型的核心组件，其简洁而强大的设计极大地推进了自然语言处理、计算机视觉乃至推荐系统等多个领域的进步。它通过直接、高效地捕获序列数据中的长距离依赖，克服了传统序列模型的局限性，促进了如Transformer这样的革命性模型的诞生。 然而，尽管取得了显著成就，缩放点积注意力仍有优化空间。未来的研究方向可能包括： 提高效率与降低资源消耗：探索更为高效的注意力计算方法，减少计算和内存需求，特别是在处理大规模数据集和超长序列时。 增强位置信息编码：虽然已有工作通过相对位置编码等方
Scaled dot-product Attention、Self-Attention辨析
PuJiang-的博客
08-22 7670
一、Scaled dot-product Attention 有两个序列X、YX、YX、Y：序列XXX提供查询信息QQQ，序列YYY提供键、值信息K、VK、VK、V。Q∈Rx_len×in_dimQ\in R^{{x\_len}\times {in\_dim}}{}Q∈Rx_len×in_dimK∈Ry_len×in_dimK\in R^{{y\_len}\times {in\_dim}}{}K∈Ry_len×in_dimV∈Ry_len×out_dimV\in R^{{y\_len}\times {out
Attention is all you need详细解读
zhaosuyuan的博客
11-12 530
Attention is all you need
【Transformer】Attention Is All You Need
m0_55589282的博客
07-11 1005
**Attention Is All You Need**
Attention Is All You Need 中文版
胭脂草的ABC博客
06-21 1731
Attention Is All You Need 中文版 文章目录 Attention Is All You Need 摘要 1 Introduction（简介） 2 Background（背景） 3 Model Architecture（模型结构） 3.1 Encoder and Decoder Stacks（编码器栈和解码器栈） 3.2 Attention（注意力机制） 3.2.1 Scaled Dot-Product Attention
Scaled dot-prodect Attention的原理和实现（附源码）
专注AI领域
05-16 3646
如上图，由于一个hidden无法涵盖所有的Source句子信息，故将句子中每个字对应的hidden信息都输入到Attention中，再将Attention作为Decoder的输入，这样就可以防止Source句子信息的丢失。
SDPA:Scaled Dot-Product Attention（缩放点积注意力）
jerwey的博客
04-17 1077
Scaled Dot-Product Attention（缩放点积注意力）是 Transformer 架构中的核心机制，由。它用于计算输入序列中不同位置之间的相关性，从而动态调整权重，使模型能够关注最重要的信息。如果你在实现 Transformer 或阅读相关论文时遇到它，现在应该能清晰理解它的原理了！
第9讲、深入理解Scaled Dot-Product Attention
Melon的博客
05-17 1015
Scaled Dot-Product Attention是Transformer架构的核心组件，通过计算查询(Query)与键(Key)的相似度来确定对值(Value)的关注程度。其关键步骤包括计算相似度、缩放、应用Mask、Softmax归一化和加权求和。缩放是为了防止梯度消失问题，通过除以$\sqrt{d_k}$将方差控制在合理范围内。代码实现中，PyTorch通过矩阵乘法、Softmax和Dropout等操作实现这一机制。Scaled Dot-Product Attention在自然语言处理、计算机视
注意力机制：多头注意力（MultiHeadAttention+缩放点积注意力(scaled dot-product attention)代码详细实现+手动绘制的MultiHeadAttention网络
weixin_41686431的博客
03-19 2820
最终输出的形状:(batch_size*num_heads,查询或者“键－值”对的个数, num_hiddens/num_heads)# 输出X的形状:(batch_size，num_heads，查询或者“键－值”对的个数, num_hiddens/num_heads)# 输出X的形状:(batch_size，查询或者“键－值”对的个数，num_heads，num_hiddens/num_heads)# valid_lens的形状：（batch_size, ）或者（batch_size, 查询的个数）
一步一步理解大模型：缩放点积注意力机制
chattyfish的博客
04-19 7872
具体来说，Multi-Head Attention将输入矩阵分别进行多个头的线性变换，然后对每个头的变换结果分别计算Scaled Dot-Product Attention，最后将每个头的Attention结果拼接在一起并通过一个线性变换输出。通过这种方式，Scaled Dot-Product Attention可以计算出Query和Key之间的相似度，同时考虑了Value矩阵对最终结果的影响，进而实现了注意力机制的作用。将scores除以d_k的平方根（np.sqrt(d_k)），这就是所谓的缩放，
LLM 优化技术(1)——Scaled-Dot-Product-Attention(SDPA)
哦豁灬
03-28 6402
在 Transformer 中抛弃了传统的 CNN 和 RNN，整个网络结构完全由和组成。一个基于 Transformer 的可训练的神经网络可以通过堆叠 Transformer 的形式进行搭建，论文中通过搭建编码器(encoder)和解码器(decoder)各 6 层，总共 12 层的，并在机器翻译中取得了 BLEU 值的新高。这里先之看这个接口。
scale_dot_product_attention and multi_head_attention tf2.x
github_39605284的博客
05-11 553
import matplotlib as mpl import numpy as np import sklearn import pandas as pd import os import sys import time import tensorflow as tf from tensorflow import keras print(tf.__version__) print(sys.version_info) for module in mpl, np, pd, sklearn, tf, ker
单头注意力机制（ScaledDotProductAttention） python实现
消极的人永远是对的，积极的人选择勇往直前
03-14 812
输入是query和 key-value，注意力机制首先计算query与每个key的关联性（compatibility），每个关联性作为每个value的权重（weight），各个权重与value的乘积相加得到输出。
Attention Is All You Need翻译
04-30
### 'Attention Is All You Need' 论文的核心概念 该论文提出了一个新的神经网络架构——Transformer[^4]，它完全摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN），转而采用纯粹的注意力机制来完成序列转换...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值