SDPA:Scaled Dot-Product Attention（缩放点积注意力）

原创 已于 2025-04-18 12:14:18 修改 · 1.2k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#llm

于 2025-04-17 20:13:11 首次发布

Scaled Dot-Product Attention（缩放点积注意力）详解

Scaled Dot-Product Attention（缩放点积注意力）是 Transformer 架构中的核心机制，由 Vaswani 等人在 2017 年《Attention Is All You Need》 论文中提出。它用于计算输入序列中不同位置之间的相关性，从而动态调整权重，使模型能够关注最重要的信息。

1. 核心公式

缩放点积注意力的计算过程如下：

Attention(Q,K,V)=softmax(QKTdk)VAttention(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)VAttention(Q,K,V)=softmax(dk​ ​QKT

最低0.47元/天 解锁文章
从零构建大语言模型全栈开发指南：第二部分：模型架构设计与实现-2.1.1自注意力机制（Scaled Dot-Product Attention）的逐行代码实现
kngines
03-23 372
从零构建大语言模型全栈开发指南：第二部分：模型架构设计与实现-2.1.1自注意力机制（Scaled Dot-Product Attention）的逐行代码实现
Sliding Window Attention is enabled but not implemented for `sdpa`； unexpected results may be encoun
ZJQ的博客
04-15 1157
Scaled Dot-Product Attention 是一种用于计算输入序列中元素之间注意力分数的方法。给定查询（Query，QQQ）、键（Key，KKK）和值（Value，VVVAttentionQKVsoftmaxQKTdkVAttentionQKVsoftmaxdk​​QKT​V其中，QQQ是形状为ndk(n, d_k)ndk​的矩阵，KKK是形状为mdk(m, d_k)mdk​的矩阵，VVV。
Scaled Dot-Product Attention
YHKKun的博客
03-28 1624
Scaled Dot-Product Attention 是Transformer模型中核心的注意力机制之一，它的基本思想是通过计算query（查询）向量与一组key（键）向量之间的点积相似度，并通过softmax函数转换为概率分布，然后用这个概率分布加权value（值）向量，从而聚焦在最重要（相似度最高）的信息上。softmax函数将所有位置上的注意力得分转换为概率形式，使得它们总和为1，从而决定在计算最终输出时各位置值向量（Value）的相对重要性。（Scaling）： 由于随着维度。
从零开始实现大语言模型（五）：缩放点积注意力机制
RuizhiHe
07-13 2678
缩放点积注意力机制(scaled dot-product attention)是OpenAI的GPT系列大语言模型所使用的多头注意力机制(multi-head attention)的核心，其目标与前文所述简单自注意力机制完全相同，即输入向量序列$x_1, x_2, \cdots, x_n$，计算context向量$z_1, z_2, \cdots, z_n$。
深度探索：机器学习中的缩放点积注意力（Scaled Dot-Product Attention）原理及应用
热门推荐
qq_51320133的博客
05-01 1万+
缩放点积注意力机制作为现代深度学习模型的核心组件，其简洁而强大的设计极大地推进了自然语言处理、计算机视觉乃至推荐系统等多个领域的进步。它通过直接、高效地捕获序列数据中的长距离依赖，克服了传统序列模型的局限性，促进了如Transformer这样的革命性模型的诞生。 然而，尽管取得了显著成就，缩放点积注意力仍有优化空间。未来的研究方向可能包括： 提高效率与降低资源消耗：探索更为高效的注意力计算方法，减少计算和内存需求，特别是在处理大规模数据集和超长序列时。 增强位置信息编码：虽然已有工作通过相对位置编码等方
注意力机制：让AI拥有黄金七秒记忆的魔法--（缩放点积注意力）
y江江江江的博客
03-15 1589
定义 Attention 类import torch.nn as nn # 导入 torch.nn 库# 计算 decoder_context 和 encoder_context 的点积，得到注意力分数# 归一化分数# 将注意力权重乘以 encoder_context，得到加权的上下文向量点积解码器和译码器内容得到注意力分数后进行归一化得到权重，之后将权重乘解码器的内容以得到加权上下文的向量。
Scaled dot-product Attention、Self-Attention辨析
PuJiang-的博客
08-22 7713
一、Scaled dot-product Attention 有两个序列X、YX、YX、Y：序列XXX提供查询信息QQQ，序列YYY提供键、值信息K、VK、VK、V。Q∈Rx_len×in_dimQ\in R^{{x\_len}\times {in\_dim}}{}Q∈Rx_len×in_dimK∈Ry_len×in_dimK\in R^{{y\_len}\times {in\_dim}}{}K∈Ry_len×in_dimV∈Ry_len×out_dimV\in R^{{y\_len}\times {out
NLP实践-Task10
伽音的博客
03-23 459
1.transformer 　　 图一、The Transformer Architecture 　　如图一所示是谷歌提出的transformer 的架构。这其中左半部分是 encoder 右半部分是 decoder。 Encod...
Scaled Dot-Product Attention详解
发几十块的吧
08-13 5037
本文详细介绍了 Scaled Dot-Product Attention 的机制、计算步骤、以及一个详细的计算过程样例。
attention is all your need 之 scaled_dot_product_attention
qq_21157073的博客
08-09 8074
“scaled_dot_product_attention”是“multihead_attention”用来计算注意力的，原文中“multihead_attention”中将初始的Q，K，V，分为8个Q_，8个K_和8个V_来传入“scaled_dot_product_attention”中进行计算。 在“scaled_dot_product_attention”主要就是进行attention的...
第9讲、深入理解Scaled Dot-Product Attention
Melon的博客
05-17 1190
Scaled Dot-Product Attention是Transformer架构的核心组件，通过计算查询(Query)与键(Key)的相似度来确定对值(Value)的关注程度。其关键步骤包括计算相似度、缩放、应用Mask、Softmax归一化和加权求和。缩放是为了防止梯度消失问题，通过除以$\sqrt{d_k}$将方差控制在合理范围内。代码实现中，PyTorch通过矩阵乘法、Softmax和Dropout等操作实现这一机制。Scaled Dot-Product Attention在自然语言处理、计算机视
注意力可视化：按比例缩放的点产品注意力可视化（单头）
02-22
注意视觉化 缩放的点产品注意力可视化（单头）（如） b后面的值为-1，a后面的值为1； 目标是找到使用定点积乘以得到输出1（目标）的路由。 子图： 第一个子图显示了对每个参数a（值：1）和b（值：-1）进行了多少处理。 第二个子图显示了与a，b和查询（嵌入）相对应的键向量。 最后的子图显示了输出和目标线。
FlashAttention is not available on this device. Using scaled_dot_product_attention instead
最新发布
07-12
当出现提示 **"FlashAttention not supported, using scaled_dot_product_attention instead"** 时，表示系统无法使用优化的 FlashAttention 实现，自动回退到标准的缩放点积注意力（scaled dot-product attention）...
GLM-4 (4) - SelfAttention
daihaoguang的博客
07-16 1183
Attention是架构核心。刚开始使用的一般是，本质上是希望在维度上进行切分，效果类似于CNN中多个通道。如果头的个数是n_head，那么querykeyvalue都被切分成n_head份，分别做操作，最后将结果拼接。后面又开发出了，也就是说query还是和之前一样，但是会在多个头之间共享。实验结果表明，大大提升了解码速度；同时考虑到kv_cache缓存，大大减小了存储每个头的键和值所需的内存开销。根据上图，我们很容易理解3种注意力的区别。
缩放点积注意力（Scaled Dot-Product Attention）
彬彬侠的博客
02-10 3723
缩放点积注意力（Scaled Dot-Product Attention）是自注意力（Self-Attention）机制的一种变体，它被广泛应用于现代的神经网络架构中，尤其是在Transformer中。它的核心思想是利用输入序列中各个位置的查询（Query）、键（Key）和值（Value）来计算注意力权重，并通过加权求和的方式生成上下文向量。
一步一步理解大模型：缩放点积注意力机制
chattyfish的博客
04-19 7991
具体来说，Multi-Head Attention将输入矩阵分别进行多个头的线性变换，然后对每个头的变换结果分别计算Scaled Dot-Product Attention，最后将每个头的Attention结果拼接在一起并通过一个线性变换输出。通过这种方式，Scaled Dot-Product Attention可以计算出Query和Key之间的相似度，同时考虑了Value矩阵对最终结果的影响，进而实现了注意力机制的作用。将scores除以d_k的平方根（np.sqrt(d_k)），这就是所谓的缩放，
Scaled dot-prodect Attention的原理和实现（附源码）
专注AI领域
05-16 3765
如上图，由于一个hidden无法涵盖所有的Source句子信息，故将句子中每个字对应的hidden信息都输入到Attention中，再将Attention作为Decoder的输入，这样就可以防止Source句子信息的丢失。
SDPA（Scaled Dot-Product Attention）详解
jerwey的博客
06-13 1140
（Scaled Dot-Product Attention，缩放点积注意力）是 Transformer 模型的核心计算单元，最早由 Vaswani 等人在 2017 年的论文《Attention Is All You Need》提出。它通过计算查询（Query）、键（Key）和值（Value）之间的相似度，生成上下文感知的表示。这个例子展示了 SDPA 如何动态分配注意力权重，并生成上下文感知的输出。我们通过一个具体的数值例子，逐步演示 SDPA 的计算过程。因此，注意力权重矩阵。
transformer -缩放点积注意力
hbkybkzw的博客
04-23 1085
缩放点积注意力是Transformer模型的核心组件，用于计算序列中不同位置之间的关联程度。其核心思想是通过查询向量（query）和键向量（key）的点积来获取注意力分数，再通过缩放和归一化处理，最后与值向量（value）加权求和得到最终表示。​。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值