《Attention Is All You Need》注意力机制公式中Q,K,V的理解

最新推荐文章于 2025-10-21 14:29:18 发布
原创 最新推荐文章于 2025-10-21 14:29:18 发布 · 2.5w 阅读 · 177 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

一、概述

《Attention Is All You Need》是一篇关于注意力机制里程碑的文章，从2017年发表至今2020年7月已经获得了上万的引用。该文的两大亮点一是提出了一个几乎仅依靠注意力来完成机器翻译的模型Transformer，推动了NLP的发展，另外一个亮点是改进了点积注意力（Dot-Product Attention），加入了一个缩放因子，提出了可伸缩点积注意力（Scaled Dot-Product Attention）。本人在阅读了《Attention Is All You Need》和《Illustrate the Trasformer》两篇文章后，发现文中对点积注意力的解释都不够具体，让很多读者难以理解。Q（一组query集合组成的矩阵）,K（一组key集合组成的矩阵）,V（一组value集合组成的矩阵）具体含义是什么，如何去理解。本人在经过思考以后，有一些自己的想法和见解在此提出，希望能对有相同困惑的同学一些帮助，如果有理解不对的地方，也希望大家在评论区提出指正共同探讨。

二、向量相关性

为了对点积注意力机制有一个比较好的理解，首先需要理解如何度量两个向量之间的相关性。由线性代数相关的知识我们可以知道，对于相同维度的两个向量，可以通过点积的方法来获得其相关性。
两个垂直的向量
上图中的两个向量，点积就是对应位置相乘再相加，所得结果为0，可以说这两个向量是线性无关的，也就是垂直的。如果点积不为0，则是相关的，如下图点积结果为3。
在这里插入图片描述

三、点积注意力

最低0.47元/天 解锁文章
注意力机制中的QKV
欢迎来到我的优快云空间！这里聚焦AI大模型应用实战，分享前沿技术、实战案例与开发经验。
12-16 1222
注意力机制中的Q、K、V 关键词：注意力机制, Q (Query), K (Key), V (Value), Transformer, 自注意力, 多头注意力, 缩放点积注意力 1. 背景介绍 1.1
一文看懂注意力机制：点积注意力机制、QKV含义、自注意力、多头注意力、注意力掩码
最新发布
TracyCoder的博客
12-13 837
Q权重矩阵的作用是将输入序列中的每个元素（如词向量）转换为查询向量（Query Vector）。每个位置的查询向量（qiq_iqi​）代表该位置“想要获取的信息类型”。例如，在句子“猫追狗”中，“追”这个词的查询向量可能会主动去寻找“动作的发出者”和“动作的接收者”相关的信息。直观理解：可以把查询向量想象成“问题”——比如“我需要和谁关联？”“谁对我重要？K权重矩阵的作用是将输入序列中的每个元素转换为键向量（Key Vector）。每个位置的键向量（kjk_jkj​。
【AI大模型入门指南】Transformer架构中的QKV--自注意力机制详解
路漫漫亦无涯
06-23 1534
本文详细解析了Transformer架构中的自注意力机制及其核心组件QKV（Query、Key、Value）。自注意力机制通过模仿人类阅读理解方式，动态捕捉序列内部元素间的关系，相比传统RNN具有并行处理能力强、长距离依赖捕捉好的优势。QKV分别承担不同功能：Query发出查询指令，Key提供身份标识用于匹配，Value则携带实际信息。计算过程包括线性变换、相似度计算、归一化和加权求和四个步骤。这种机制广泛应用于自然语言处理、语音处理和计算机视觉领域，其多头并行计算特性显著提升了模型性能和处理效率。
如何理解自注意力机制？Q、K、V如何得到
weixin_43341767的博客
10-21 942
自注意力机制是Transformer的核心组件，通过Q(查询)、K(键)、V(值)三个向量实现序列元素间的全局交互。Q、K、V由输入序列通过三个独立的线性变换得到，权重矩阵通过反向传播训练优化。多头注意力机制允许模型并行学习不同特征。该机制具有计算高效、可解释性强等优势，是Transformer成功的关键。权重矩阵初始采用随机策略(Xavier/He等)，通过前向传播、损失计算和反向传播逐步优化，最终使模型能有效捕捉序列依赖关系。
【深度学习常见问题——Attention基础知识梳理】
selami的博客
09-12 4539
attention的一些最基础知识的梳理总结，包含attention的各个模块
【注意力机制2-2】-深入理解 注意力机制 的 Q、K、V 机制
wangshangshang09的博客
04-03 4763
Transformer 是现代自然语言处理（NLP）和计算机视觉（CV）任务中的核心架构，而其自注意力（Self-Attention）机制是 Transformer 成功的关键。本文将重点解析 Q（Query）、K（Key）、V（Value）三个矩阵的作用及其计算方法。
Attention Is All You Need 注意力机制的序列模型 Transformer 编码器-解码器架构 文本摘要、问答系统、对话生成 NLP
万有文的博客
05-21 1363
序列到序列（sequence-to-sequence, seq2seq）的转导模型，如基于复杂递归或卷积神经网络的那些，包括编码器和解码器，通常通过注意力机制连接。这些模型在许多任务上取得了显著成果，但训练成本较高。我们提出了一种新的简单网络架构，Transformer，它完全基于注意力机制，摒弃了循环和卷积操作。通过两个机器翻译任务的实验，我们展示了Transformer模型在质量上的优势，同时它还具有更高的可并行性，从而显著减少了训练时间。
[LLM] 自然语言处理 ----- Attention机制中的Q,K,V介绍
摩登都市天空---专栏
09-14 2万+
注意力机制就是要通过训练得到一个加权，自注意力机制就是要通过权重矩阵来自发地找到词与词之间的关系。 Q就是词的查询向量，K是“被查”向量，V是内容向量。 简单来说一句话：Q是最适合查找目标的，K是最适合接收查找的，V就是内容，这三者不一定要一致，所以网络这么设置了三个向量，然后学习出最适合的Q, K, V，以此增强网络的能力。 因此肯定需要给每个input定义tensor，然后通过tensor间的乘法来得到input之间的关系。那这么说是不是给每个input定义...
对Attention is all you need 的理解
热门推荐
mijiaoxiaosan的博客
06-14 6万+
对谷歌Attention is all you need 的理解。
注意力机制的qkv_从维度角度理解
wangmarkqi的博客
09-11 2332
关于qkv
注意力机制（Q,K,V）基本概念
Dys_debug的博客
11-27 7312
1. 查询（自主提示）和键（非自主提示）之间的交互形成了注意力汇聚；注意力汇聚有选择地聚合了值（感官输入）以生成最终的输出。2. 注意力汇聚根据不同的概念可分为带参型、非参型。或是拆分为评分函数+softmax的形式
Attention Is All You Need.pdf
07-05
Attention Is All You Need，NLP经典论文，值得仔细阅读
【翻译】Attention Is All You Need
jokerwu192的博客
07-02 2万+
论文地址：https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf 项目地址：https://github.com/ tensorflow/tensor2tensor
transformer原理-Attention Is All You Need
traveler-leon的博客
04-30 1753
还是惯例来感慨一下，transforemr是google公司在2017年7月发表的【Attention Is All You Need】这篇文章中被提出来的。而在大模型得到了蓬勃发展的今天，不管是哪一类大模型（视频、图像、文本），基本上模型的基础架构都是采用了transformer或者是transformer的变体。这一定程度上奠定了transformer的铁王座地位。
注意力足矣（Attention Is All You Need）
weixin_44378835的博客
06-15 1万+
本文将介绍一个不使用卷积和循环网络层，而是完全基于注意力机制的模型——Transformer。
注意力机制Q K V
studyvcmfc的专栏
06-24 1112
https://zhuanlan.zhihu.com/p/67115572
通俗易懂理解注意力（Attention）机制中的Q/K/V
qq_41652784的博客
03-14 2265
AttentionQKVSoftmaxdk​​QK⊤​V这其中的QKV分别代表Query、Key和Value。
注意力机制
薄荷糖
01-26 1530
注意力机制的本质思想： source:我 是 中国人 target: I am Chinese 如果翻译单词I时，则Query为I，source中的 “我” “是” “中国人”都是K，而V代表每个source中输出的context vector，如果为RNN模型的话就是对应的状态向量；即key与value相同 QKV是分别是embeding*Wq，Wk，Wv 将Source中的构成元素想象成是由一系列的<Key,Value>数据对构成，此时给定Target中的某个元素Que...
attention is all you need 公式
05-19
### 关于 'Attention is all you need' 论文中公式的详解 #### 公式背景 在 'Attention is all you need' 的论文中，核心部分是注意力机制的实现方式——Scaled Dot-Product Attention（缩放点积注意力）。该方法通过矩阵运算高效地实现了自注意力机制的核心功能[^2]。 #### 主要公式及其解释 1. **Query, Key 和 Value 的定义** Query ($ Q $), Key ($ K $) 和 Value ($ V $) 是三个重要的向量集合。它们分别代表查询、键和值的概念。这些向量由输入嵌入经过线性变换得到： \[ Q = XW_Q,\quad K = XW_K,\quad V = XW_V \] 其中 $ W_Q $, $ W_K $, $ W_V $ 是可训练参数矩阵，$ X $ 表示输入序列的嵌入表示[^3]。 2. **注意力分数计算** 注意力分数衡量的是 Query 和 Key 之间的相似度。具体来说，使用点积作为相似度函数，并对其进行缩放操作以稳定梯度： \[ \text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^\top}{\sqrt{d_k}}\right)V \] 上述公式中，$ d_k $ 是 Key 向量的维度大小，$\sqrt{d_k}$ 被用来调整点积的结果范围，防止 softmax 函数因数值过大而导致梯度消失问题[^1]。 3. **Softmax 层的作用** Softmax 将点积后的结果转化为概率分布形式，使得每个位置上的权重总和为 1。这样可以更清晰地表达哪些位置更重要： \[ \alpha_i = \text{softmax}(\frac{\langle q,k_i\rangle}{\sqrt{d_k}}) \] 4. **最终输出** 输出是由加权求和的方式获得，其中权重来源于 softmax 结果，而实际的内容来自 Value 向量： \[ z = \sum_{i=1}^{n} \alpha_i v_i \] 此处 $ n $ 表示序列长度，$ z $ 即为当前时刻的上下文表示[^2]。 #### 实现细节 以下是基于 PyTorch 的简单代码实现： ```python import torch import torch.nn as nn class ScaledDotProductAttention(nn.Module): def __init__(self, dim_key): super(ScaledDotProductAttention, self).__init__() self.scale_factor = torch.sqrt(torch.tensor(dim_key, dtype=torch.float)) def forward(self, query, key, value): attention_scores = torch.matmul(query, key.transpose(-2, -1)) / self.scale_factor attention_probs = torch.softmax(attention_scores, dim=-1) output = torch.matmul(attention_probs, value) return output ``` 此代码片段展示了如何利用矩阵乘法来完成 scaled dot-product attention 的前向传播过程。 --- ####
评论 6
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值