Attention原理+向量内积+Transformer中的Scaled Dot-Product Attention

最新推荐文章于 2025-06-02 12:20:51 发布
原创 最新推荐文章于 2025-06-02 12:20:51 发布 · 1.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #深度学习 #人工智能

本文介绍了Attention机制的基本原理，它通过对Source中的Value进行加权求和来生成Attention数值，权重由Query和Key的相似性决定。接着讨论了向量内积的概念及其在求导中的应用。最后，聚焦于Transformer中的ScaledDot-ProductAttention，这是一种利用向量内积并进行归一化的注意力机制，可以并行计算多个query的注意力得分。

一、Attention原理

在这里插入图片描述

  将SourceSourceSource中的构成元素想象成是由一系列的<Key,Value><Key,Value><Key,Value>数据对构成，此时给定TargetTargetTarget中的某个元素QueryQueryQuery，通过计算QueryQueryQuery和各个KeyKeyKey的相似性或者相关性，得到每个KeyKeyKey对应ValueValueValue的权重系数，然后对ValueValueValue进行加权求和，即得到了最终的AttentionAttentionAttention数值。所以本质上AttentionAttentionAttention机制是对SourceSourceSo

最低0.47元/天 解锁文章
一个向量 和 一组向量 的attention计算, pytorch实现
Love-Coding
01-16 1471
class BilinearSeqAttn(nn.Module): &quot;&quot;&quot;A bilinear attention layer over a sequence X w.r.t y: * o_i = x_i'Wy for x_i in X. &quot;&quot;&quot; def __init__(self, x_size, y_size, opt, identity=False): ..
SDPA:Scaled Dot-Product Attention（缩放点积注意力）
jerwey的博客
04-17 1192
Scaled Dot-Product Attention（缩放点积注意力）是 Transformer 架构中的核心机制，由。它用于计算输入序列中不同位置之间的相关性，从而动态调整权重，使模型能够关注最重要的信息。如果你在实现 Transformer 或阅读相关论文时遇到它，现在应该能清晰理解它的原理了！
Scaled dot-product Attention、Self-Attention辨析
PuJiang-的博客
08-22 7706
一、Scaled dot-product Attention 有两个序列X、YX、YX、Y：序列XXX提供查询信息QQQ，序列YYY提供键、值信息K、VK、VK、V。Q∈Rx_len×in_dimQ\in R^{{x\_len}\times {in\_dim}}{}Q∈Rx_len×in_dimK∈Ry_len×in_dimK\in R^{{y\_len}\times {in\_dim}}{}K∈Ry_len×in_dimV∈Ry_len×out_dimV\in R^{{y\_len}\times {out
【源码解读】Transformer的Scaled dot product部分详解
...
03-26 2143
def attention(query, key, value, mask=None, dropout=None): # shape:query=key=value---->[batch_size,8,max_length,64] d_k = query.size(-1) # k的纬度交换后为：[batch_size,8,64,max_length] # scores的纬度为:[batch_size,8,max_length,max_length]
深度探索：机器学习中的缩放点积注意力（Scaled Dot-Product Attention）原理及应用
qq_51320133的博客
05-01 1万+
缩放点积注意力机制作为现代深度学习模型的核心组件，其简洁而强大的设计极大地推进了自然语言处理、计算机视觉乃至推荐系统等多个领域的进步。它通过直接、高效地捕获序列数据中的长距离依赖，克服了传统序列模型的局限性，促进了如Transformer这样的革命性模型的诞生。 然而，尽管取得了显著成就，缩放点积注意力仍有优化空间。未来的研究方向可能包括： 提高效率与降低资源消耗：探索更为高效的注意力计算方法，减少计算和内存需求，特别是在处理大规模数据集和超长序列时。 增强位置信息编码：虽然已有工作通过相对位置编码等方
【学习笔记】Transformer详解
Small__明的博客
04-04 5989
transformer详解
【手撕代码】从零实现Transformer的Scaled Dot-Product Attention 和 Multi-Head Attention（上）
最新发布
2504_90578160的博客
06-02 1419
本文详细介绍了Transformer架构中的两个核心模块——缩放点积注意力(ScaledDot-ProductAttention)和多头注意力(Multi-HeadAttention)的实现原理与PyTorch代码。首先解析了缩放点积注意力的计算公式，包括Query/Key/Value向量和缩放因子，并给出了带mask机制的实现方案。随后讲解了多头注意力的分头计算原理，通过线性变换、分头处理、注意力计算和结果合并等步骤实现。文章提供了完整的代码实现和使用示例，并总结了模块关键点与性能优化建议，最后提出了双向
Scaled Dot-Product Attention 中的缩放操作
梁小憨憨的博客
05-22 1186
最近看代码又看到了一种缩放操作，记得之前了解过Transformer 中的缩放，但是细节记不清了，这里记录一下方便以后查阅。
Attention的汇总与辨析_Additive、Multiplication、Scaled dot-product、Self Attention、Multi-head Self-Attention
PuJiang-的博客
04-07 2777
一、Seq2Seq 1.1Seq2Seq(Encoder-Decoder)是什么 简介：使用Encoder将input编码为一个固定长度的context向量，使用Decoder将context解码为output。input、output长度不一定相同。 奠基论文：Sequence to Sequence Learning with Neural Networks ...
深度学习（二十五）——Attention（2）
antkillerfarm的专栏
06-04 1540
Attention（续） Multi-Head Attention 这个是Google提出的新概念，是Attention机制的完善。不过从形式上看，它其实就再简单不过了，就是把Q,K,V通过参数矩阵映射一下，然后再做Attention，把这个过程重复做h次，结果拼接起来就行了，可谓“大道至简”了。具体来说： headi=Attention(QWQi,KWKi,VWVi)headi=A...
attention理解
vssyu的博客
05-05 145
attention理解 这是attention的基本框架 这是Seq2Seq的模型，Encoder-Decoder是个非常通用的计算框架，至于Encoder和Decoder使用的常见模型有 CNN / RNN / BiRNN / GRU / LSTM / Deep LSTM 等。 X=(x1,x2,...,xm)X=(x_{1},x_{2},...,x_{m})X=(x1​,x2​,...,xm​) Y=(y1,y2,...,yn)Y=(y_{1},y_{2},...,y_{n})Y=(y1​,y2​,.
关于attention的简单理解
namespace_Pt的博客
10-17 589
理解attention 两个角度， 首先，令f:Rd∗d→Rf: \mathbb{R}^{d*d} \rightarrow \mathbb{R}f:Rd∗d→R 或者 f:Rd→Rf: \mathbb{R}^{d} \rightarrow \mathbb{R}f:Rd→R，fff可以是perceptron，可以是点积、cos相似度等（两个自变量时），vi∈Vv_i \in \mathcal{V}vi​∈V代表item的向量表达 直接把自己映射成权重，αvi=softmax(f(vi))\alpha_{v_
Transformer 相关理解（上）
Weber's blog
07-07 909
Attention is all you need Transformer论文精读体会（上）
深度学习之Attention模型详解
THU数据派
11-26 4030
转载自：Datawhale（ID：Datawhale）作者：yif本文8434字41图，建议阅读22分钟。本文介绍深度学习中的Attention模型。Attention的...
Transformer学习总结附TF2.0代码实现
qq_43079023的博客
12-01 6187
Transformer学习总结 TF2.0代码实现Transformer1.Transformer理论详解1.1 transformer总体架构1.2 输入部分如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML ...
【内积】内积计算公式及物理意义
码农努力学习
09-20 1702
当内积为正值时，两个向量指向大致相同方向（方向夹角小于90度）当内积为负值时，两个向量指向大致相反方向（方向夹角大于90度）当内积值为0时，两个向量互相垂直。内积又称标量积、点积、数量积。
attention各种形式总结
热门推荐
向着星辰大海
06-23 6万+
hard attention 记stst s_{t} 为decoder第 t 个时刻的attention所关注的位置编号 stistis_{ti} 表示第 t 时刻 attention 是否关注位置 i stisti s_{ti} 服从多元伯努利分布(multinoulli distribution)， 对于任意的 t , sti,i=1,2,...,Lsti,i=1,2,...,Ls_{t...
一文详解Attention机制
Luoyingfeng的博客
07-27 5495
Attention机制 我们知道Seq2Seq模型有一个缺点就是句子太长的话encoder会遗忘，那么decoder接受到的句子特征也就不完全，我们看一下下面这个图，纵轴BLUE是机器翻译的指标，横轴是句子的单词量，我们可以看出用了attention之后模型的性能大大提升。 用了注意力机制，Decoder每次更新状态的时候都会再看一遍encoder所有状态，还会告诉decoder要更关注哪部分，这也是attention名字的由来。但是缺点就是计算量很大。 Attention原理 在encoder结束之后
为什么 dot-product attention 需要被 scaled？
夏树让的博客
03-23 3万+
在 Attention Is All You Need 这篇经典论文中，有提到两种较为常见的注意力机制：additive attention 和 dot-product attention。并讨论到，当 $d_k$ 较大时，additive attention 要优于 dot-product attention，这其中的原因是什么？为什么采用 scaled dot-product attention?
Scaled Dot-Product Attention
03-19
Scaled Dot-Product Attention 是一种广泛应用于 Transformer 架构中的机制，其核心思想是从输入的查询（Query）、键（Key）和值（Value）向量中提取相关信息并生成加权后的输出。该方法通过计算 Query 和 Key 向量...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

晓shuo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值