attention中Query与Key相似度计算方法

最新推荐文章于 2025-03-10 12:14:03 发布
最新推荐文章于 2025-03-10 12:14:03 发布
阅读量1.4k 收藏
点赞数 1
文章标签： html
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_54993613/article/details/120660740
版权
本文详细总结了自然语言处理中Attention机制的核心概念、工作原理及其在深度学习模型中的应用，包括在机器翻译、问答系统和文本理解等方面的关键作用。通过实例探讨了Self-Attention和Transformer模型，并对比了不同的Attention类型。此外，还讨论了Attention机制的优缺点及未来发展趋势。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

科研小白ll
关注
Transformer大模型实战 计算句子的相似度
AI天才研究院
09-15 581
1. 背景介绍 1.1 问题的由来 在自然语言处理（NLP）领域，句子相似度计算是一个重要的研究问题。它的应用广泛，包括信息检索、文本分类、机器翻译、问答系统等。然而，句子相似度计算并不是一个简单的任务，因为它需要理解句子的语义信息，这是一项非常复杂的工作。 1.
​Transformer模型中，QKV（Query、Key、Value）；判断一个Transformer模型中有多少头（即注意力头数）
ZJQ的博客
08-06 1734
然而，在实际实现中，由于Query和Key通常共享相同的权重矩阵（尽管它们可以不同），所以你可能只看到了两组权重矩阵（一组用于Q/K，另一组用于V），但在这个例子中，我们假设是分开考虑的三组（可能是为了更一般化的说明，或者在某些特定实现中确实如此）。但重要的是，无论是一组还是两组用于Q/K，都不会改变我们推断头数的方法。具体来说，每个头都会使用一组独立的权重矩阵（通常是Q、K、V三个矩阵）来将输入向量线性变换为查询（Query）、键（Key）和值（Value）向量，然后计算注意力分数并进行加权求和。
Attention机制
Bolly_He的博客
03-29 1274
目录 第一步：计算比较Q和K的相似度，用f来表示 点乘 dot product​ 权重 General 拼接权重 Concat​ 感知器 Perceptron​ 第二步：将得到的相似度进行Softmax操作，进行归一化 第三步：针对计算出来的权重​,对V中所有的values进行加权求和计算，得到Attention向量 Attention机制本质上是对相关性的计算，Attention通常表示，将query(Q)和key-value pairs映射到输出上，其中query、每个...
机器学习中的相似性度量
hit_kongquan的专栏
03-25 8497
<br /><br />在做分类时常常需要估算不同样本之间的相似性度量(Similarity Measurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究，甚至关系到分类的正确与否。<br />　　本文的目的就是对常用的相似性度量作一个总结。<br /><br /><br />本文目录：<br />1. 欧氏距离<br />2. 曼哈顿距离<br />3. 切比雪夫距离<br />4. 闵可夫斯基距离<br />5. 标准化欧氏距离<br />6
transformer模型介绍——大语言模型 LLMBook 学习（二）
最新发布
swpucwf的博客
03-10 1222
位置编码采用。
Attention中的query,key和value
qq_43340256的博客
07-21 3781
(4) 作って理解する Transformer / Attention - Qiita. https://qiita.com/halhorn/items/c91497522be27bde17ce.(3) Transformer 1. Attention中的Q，K，V是什么 - 知乎. https://zhuanlan.zhihu.com/p/441459022.
attention详解
gt362ll的博客
11-01 2185
在seq2seq+attention入门里曾经提到一点attention，感觉这个东西很有意思，模型千变万化，也非常符合人类的思想，在这里详细介绍下attention 1. 定义 剥离开seq2seq模型，Google给了attention模型一个更加形式化的定义 attention是由query和一系列&lt;key,value&gt;对组成的，query依次与{key_1,key_2.....
attention的query、key和value的理解
qq_43210957的博客
12-09 7091
对attention机制当中的query、key和value为什么这么叫做一个简单的理解
史上最小白之Attention详解
热门推荐
Tink1995的博客
03-24 11万+
1.前言 说到attention机制，那可真是太牛逼了。不会attention都不好意思说自己视深度学习从业者，那么今天我们就来一步一步剖析一下这近几年来最火的深度学习模型。 2.Encoder-Decoder 2.1Encoder-Decoder简介 Encoder-Decoder框架顾名思义也就是编码-解码框架，目前大部分attention模型都是依附于Encoder-Decoder框架进行实...
attention机制_自然语言处理中的Attention机制简述（一）
weixin_39986027的博客
11-27 554
Attention机制(注意力机制)是自然语言处理近几年发展中的一个里程碑式的技术，目前已经成为了各种模型的标配，而后来大火的Transformer更是将Attention发挥到了极致。本系列我将给大家简单介绍下Attention机制的原理以及几个著名变种。本文作为本系列的第一篇，将主要介绍Attention的基本知识。*本文部分内容和图片参考了一些已有的博文，文末将附上链接。什么是At...
Transformer 从attention到grouped query attention (GQA)
LuchangLi 的专栏
05-28 1773
Transformer 从Attention到grouped query attention (GQA)
理解Attention机制的query key value
Site1997的博客
11-23 3383
本文介绍了深度学习的注意力机制(Attention)，并解释了query key value 的意义。
attention各种形式总结
向着星辰大海
06-23 6万+
hard attention 记stst s_{t} 为decoder第 t 个时刻的attention所关注的位置编号 stistis_{ti} 表示第 t 时刻 attention 是否关注位置 i stisti s_{ti} 服从多元伯努利分布(multinoulli distribution)， 对于任意的 t , sti,i=1,2,...,Lsti,i=1,2,...,Ls_{t...
对Attention is all you need 的理解
mijiaoxiaosan的博客
06-14 6万+
对谷歌Attention is all you need 的理解。
Attention机制的小理解
笔记杂谈
08-31 1万+
1.传统的encode-decode模型      输入序列：      输出序列：      中间语义变量     所以对于，也就是                这就表明输入序列的每一个元素对于输出序列的每一个元素的作用是等价的，这显然是不合理的。比如机器翻译中，中文“我爱你”，对应英语中“I love you”。其中“我”对于“I”和“love”的翻译作用力显然不同。为了解决...
深度学习中的注意力机制详解（key-value attention 2017）
wu740027007的博客
11-08 1万+
注意力模型最近几年在深度学习各个领域被广泛使用，无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中，都很容易遇到注意力模型的身影。所以，了解注意力机制的工作原理对于关注深度学习技术发展的技术人员来说有很大的必要。 人类的视觉注意力 从注意力模型的命名方式看，很明显其借鉴了人类的注意力机制，因此，我们首先简单介绍人类视觉的选择性注意力机制。 ...
注意力机制
qq_36936443的博客
04-12 1万+
1.直观认知注意力机制 假设你想在淘宝上买一件价格便宜、黑白相间的格子衬衫，而淘宝每件衣服都有不同的用料、尺寸、类型、价格、颜色、款式、风格等等，这时你就会根据你的需求更关注如款式：衬衫、颜色：黑白相间、价格：便宜等有效信息，更不关注其他的信息，最终挑选出你心仪的衣服下单。 在这里，你通过给定的查询query（价格便宜、黑白相间、格子衬衫），将query与相关的键key（不同衣服的参数说明）和对应的值value（衣服链接）进行匹配，得出了最匹配的值（你最终下单的衣服链接）...
关于深度学习中Attention原理的总结
weixin_41710583的博客
11-22 478
01 对于attention的理解 attention翻译为注意力，对于不同的输入信息根据重要性不同赋予不同的权重。来源于人类对同一事物的注意力不同而得名。可以根据图一来做简单的理解，其中颜色较深的部分，指的是比较关注的分布。 图1 02 Attention在NLP中的来源 在NLP中，Attention来源于SeqSeq中，在最后一个timestep后encode输出开始预测decode的阶段，如图2中中法文翻译为英文为例。在每一时刻生成右边英语句子的过程中只关注其中输入法语句子中最重要的信息部
自注意力模块相似度计算
02-15
### 自注意力机制中的相似度计算 在自注意力机制中，查询（Q）、键（K）和值（V）矩阵用于计算注意力分数。具体来说，在计算注意力得分之前会应用缩放因子σ来标准化查询-键的相似性[^1]。 #### 缩放点积注意力 公式表示如下： \[ \text{att} = \sigma\left(\frac{Q K^{T}}{\sqrt{d_{k}}}\right) \] 其中 \( d_k \) 是键向量维度大小，\( Q \) 和 \( K \) 分别代表查询和键矩阵。通过除以 \( \sqrt{d_k} \)，可以防止内积过大而导致梯度消失或爆炸问题。之后再乘上一个可学习参数 σ 来调整整体尺度。 此过程有助于模型聚焦于输入序列中最相关的部分，并且能够处理不同长度的信息片段之间的关系。对于较长文本而言，这种方法尤其有效，因为它允许网络关注到更远距离内的依赖项而无需增加太多额外开销。 当涉及到实际实现时，通常还会加上 Softmax 函数作用于上述得到的结果之上，从而获得概率分布形式的概率权重向量作为最终输出的一部分。这些权重随后被用来加权求和对应的 "value" 向量，形成新的特征表达。 ```python import torch import math def scaled_dot_product_attention(query, key, value): dk = query.size(-1) scores = torch.matmul(query, key.transpose(-2, -1)) / math.sqrt(dk) attention_weights = torch.softmax(scores, dim=-1) output = torch.matmul(attention_weights, value) return output, attention_weights ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值