我在self-attention中对Query，Key，Value的理解

最新推荐文章于 2025-06-18 17:43:55 发布
原创 最新推荐文章于 2025-06-18 17:43:55 发布 · 1.6k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #计算机视觉

Non-local Neural Networks是一种深度学习模型，旨在解决传统CNN和RNN的局部限制问题。通过引入非局部计算，该模型能捕捉到图像、序列数据中的长距离依赖关系。其核心计算公式和图解展示了其工作原理，广泛应用于图像识别、视频分析等领域。论文进一步阐述了该模型的理论基础和实验效果。

Non-local means

可先了解相关内容Non-local means
在这里插入图片描述

Non-local Neural Networks

作用：突破局部限制，不管是CNN还是RNN

在这里插入图片描述

计算式

在这里插入图片描述

图解

在这里插入图片描述
在这里插入图片描述

论文

在这里插入图片描述
在这里插入图片描述

【深度学习】Self-Attention机制详解：Transformer的核心引擎
欢迎来到我的优快云个人博客主页！
03-24 2393
本文介绍了Self-Attention（自注意力机制）。在深度学习领域，Transformer架构的出现彻底改变了自然语言处理(NLP)的格局，而Self-Attention（自注意力）机制则是Transformer的核心组件。Self-Attention兼具了卷积的局部处理能力和全连接层的全局连接特性，但它通过动态生成权重的方式实现了更灵活的表示学习，这也是Transformer架构成功的关键因素之一。
self-attention模型理解
weixin_41168869的博客
06-07 1251
self-attention模型理解
attention的query、key和value的理解
qq_43210957的博客
12-09 7430
对attention机制当中的query、key和value为什么这么叫做一个简单的理解
理解Attention机制的query key value
Site1997的博客
11-23 3622
本文介绍了深度学习的注意力机制(Attention)，并解释了query key value 的意义。
NtQueryValueKey
11-25
NtQueryValueKey NtQueryValueKey
Attention中的query,key和value
qq_43340256的博客
07-21 4333
(4) 作って理解する Transformer / Attention - Qiita. https://qiita.com/halhorn/items/c91497522be27bde17ce.(3) Transformer 1. Attention中的Q，K，V是什么 - 知乎. https://zhuanlan.zhihu.com/p/441459022.
【学习笔记】Transformer中的query、key与value
qq_52378211的博客
04-26 2507
在自注意力机制（self-attention）中，查询（query）、键（key）和值（value）是通过对输入特征进行线性变换得到的。对于输入特征序列（例如文本序列或图像特征图），每个位置都有一个对应的原始特征向量。然后，通过乘以权重矩阵来将原始特征向量映射到查询、键和值向量空间。那么这个权重矩阵是怎么来的呢？对于每个位置的输入特征向量，通过与对应的查询矩阵、键矩阵和值矩阵进行矩阵乘法操作，从而分别得到查询向量、键向量和值向量。
动图轻松理解Self-Attention(自注意力机制)
qq_17027283的博客
04-03 4709
本文力图帮助大家轻松理解自注意力机制
Attention 和 Self-Attention 总结
安静的软件工程师
03-08 1992
Attention 和 Self-Attention 总结
NLP（二十九）一步一步，理解Self-Attention
山阴少年
05-08 1783
  本文大部分内容翻译自Illustrated Self-Attention, Step-by-step guide to self-attention with illustrations and code，仅用于学习，如有翻译不当之处，敬请谅解！ 什么是Self-Attention（自注意力机制）？   如果你在想Self-Attention（自注意力机制）是否和Attention（注意力机制...
注意力机制：查询（Query）、键（Key）、值（Value）
彬彬侠的博客
02-08 3460
在注意力机制中，查询（Query）和键（Key）是两个非常关键的概念，它们通过计算相似度来决定模型在某一时刻应该“关注”输入序列的哪一部分。它们通常是来自编码器或解码器的表示，通过它们的交互，模型能够聚焦于最相关的信息部分，从而提高预测的准确性。查询（Query）：表示当前需要聚焦的部分，通常来自解码器。键（Key）：与查询进行匹配的参考信息，通常来自编码器。值（Value）：对应键的信息，最终加权求和生成输出。
深度学习：自注意力机制(Self-Attention)
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
12-11 2万+
自注意力机制（Self-Attention），有时也称为内部注意力机制，是一种在深度学习模型中应用的机制，尤其在处理序列数据时显得非常有效。它允许输入序列的每个元素都与序列中的其他元素进行比较，以计算序列的表示。这种机制使模型能够聚焦于输入序列中不同位置的关系，从而捕捉序列内的复杂依赖关系。
Transformer Attention机制中的Query、Key和Value
YHKKun的博客
03-29 1万+
Value向量是与每个位置相关联的“内容”或“上下文信息”的载体，包含的是实际要被关注并组合成输出的信息，即每个位置上我们认为对后续处理有价值的信息。当计算“jumps”这个词的注意力时，它的Query向量Q5将会与所有的Key向量（K1至K9）进行点积运算，然后通过softmax函数得到相应的注意力权重分布。)，通过加权求和的方式得到一个Context Vector（上下文向量），这个向量融合了输入序列中所有位置的信息，但不同位置的信息贡献程度由它们相对于Query的关注度决定。
三篇助你理解Transformer 中的 Query、Key 与 Value
missgrass的博客
01-20 8302
如何理解 Transformer 中的 Query、Key 与 Value 这一篇主要是帮助你用比喻的手法来了解一下 attention机制中的query,key,value的概念解释 这一篇帮你用图来了解过程 如何理解 Transformer 中的 Query、Key 与 Value 这一篇总结收尾 就是 Query*Key其实就是计算相关度或叫依赖度，然后经过softmax转为权重，针对可能的y计算加权和就得到最终的结果了。 其实就是用你Query*Key算出来一个权重，然后再跟value计算一下子，出
补充：理解Query、Key和Value
kawhiDK的博客
07-30 3009
Query（查询）每个输入元素（如单词、字符等）都有一个Query向量。Query向量表示我们正在寻找的信息或特征。在计算注意力权重时，Query用于匹配Key，从而确定关注哪些元素及其重要程度。Key（键）每个输入元素也有一个Key向量。Key向量表示元素的特征或内容。Key用于与Query匹配，计算两者的相似度或相关性，从而确定哪些元素对当前Query重要。Value（值）每个输入元素还有一个Value向量。Value向量表示实际的信息或特征值。
注意力机制Query、Key、Value理解
最新发布
qq_45749612的博客
06-18 706
注意力机制的核心是Query、Key、Value三者的协作： Query是问题线索（如“找时间”），Key是信息标签（如新闻中的日期词），Value是实际内容。 机制通过计算Query与Key的匹配度（权重），筛选重要信息（如高权重的“2024年6月18日”），忽略无关内容。 类比超市找牛奶：Query（“牛奶在哪？”）匹配Key（货架标签），最终定位Value（乳制品区的牛奶）。 本质是让模型像人类一样“智能聚焦”，通过权重分配高效提取关键信息。
key和value取值的规则
qq_45634982的博客
09-11 1万+
1.字典是由许多对相互之间有联系的元素组成，每一对元素都包含一个键（key）和一个值（value)。 2.这种元素称为键值对，一般记作键：值 （key：value)。 key 是索引 value 是数据 key 和 value 之间用：分隔 key 必须是唯一的 value 可以取任何数据类型，但 key 只能使用 字符串、数字或元组 输出结果：fgy 20 ...
如何理解 Transformer 中的 Query、Key 与 Value
热门推荐
Yafee的专栏
04-27 4万+
Transformer 起源于 2017 年的一篇 google brain 的又一篇神文 《Attention is all you need》，至此由引领了在 NLP 和 CV 了又一研究热点。 在 Transformer 中一个非常关键的贡献就是 self-attention。就是利用输入样本自身的关系构建注意力模型。 self-attention 中又引入了三个非常重要的元素： Query 、Key 和 Value。 假设是一个输入样本序列的特征, 其中 n 为输入样本个数(序列长度)，d..
在yolov8中加入self-attention
02-28
在YOLOv8模型中引入自注意力机制(self-attention)是一种改进网络性能的有效手段。通过增强特征图对于重要区域的关注度，可以显著提升目标检测任务的表现。 ### 1. 理解Self-Attention 自注意力(Self-Attention)，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值