Attention机制中的QKV从哪来的深挖论文出处

火星种萝卜 火星种萝卜 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 1k累计阅读 1k平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄19年
关注
转载 最新推荐文章于 2026-08-23 13:48:03 发布 1k 阅读 AI 写同款· GEO 优化 ›
transformer中对于QKV的个人理解 上面这个transformer中的注意力公式，相信大家不会陌生。公式并不复杂，但是why?为什么是这个公式，为什么大家都说之前了解transformer的时候，对于QKV的设定感到很奇怪，后来慢慢接受了这个设定，今天记录一下自己的理解。 总结一下核心是新词向量矩阵包含了位置编码和其他词的上下文信息的一组信息的词向量。 阅读详情

深度学习attention机制中的Q,K,V分别是从哪来的？ - 知乎

收录于
NLP

当前文章被收录于：

NLP
247 篇文章 4 人学习
订阅专栏 查看详情
标签
#自然语言处理
原文链接：https://www.zhihu.com/question/325839123>
注意力机制QKV在GAT（Graph Attention Network）的体现 GAT（Graph Attention Network）被称为注意力机制的一种图神经网络，它使用了注意力机制的思想。 在GAT中，每个节点与其邻居节点之间的关系被建模为具有不同权重的注意力权重。这就涉及到了注意力机制中的Q（查询）、K（键）和V（数值）的概念。 在GAT中，Q、K和V是通过线性变换从节点的特征向量中获得的，那么就和自注意力机制self-attention一样，是和节点的特征向量同源的，也就是Q、K、V都是来源于节点的特征向量，只不过Q、K、V是节点的特征向量的线性变换的产物罢了。 这些变换将 阅读详情

相关推荐

transformer中QKV的通俗理解(剩女与备胎的故事)

用vit的时候读了一下transformer的思想,前几天面试结束之后发现对QKV又有点忘记了, 写一篇文章来记录一下 参考链接: 哔哩哔哩:在线激情讲解transformer&Attention注意力机制（上）在线激情讲解transformer&Attention注意力机制（上）_哔哩哔哩_bilibiliAttention is all you need介绍 更具体的介绍可以去阅读论文在Attention is all you need这篇文章中提出了著名的Transformer模型Transforme

Peter的博客 1万+

transformer中QKV的通俗理解(渣男与备胎的故事)

transformer中QKV的通俗理解(渣男与备胎的故事) Attention is all you need

Weary_PJ的博客 7万+

Attention机制的本质是1960年代EM算法的端到端实现

注意力机制（Attention）常被误认为深度学习原创的‘黑箱’技术，实则其数学内核根植于经典统计推断——本质是期望最大化（EM）算法在高维隐变量建模中的可微分、并行化实现。它将输入序列视为观测数据，通过QKV结构显式执行E-step（后验概率估计）与M-step（参数期望更新），softmax对应Gibbs分布，multi-head等价于分布式EM迭代，positional encoding则是时序隐变量的贝叶斯先验建模。这一统计同构性不仅解释了attention collapse、long-contex

504

如何理解attention中的Q、K、V

Q:QueryK:KeyV:Value其实是三个矩阵，矩阵如果表示为LxD，L是句子中词的个数，D是嵌入维度，在自注意力机制里，QKV是表示同一个句子的矩阵，否则KV一般是来自一个句子，而Q来自其他句子可以通过这三个线性变换query，key，value得到我们想要的QKV，其中三个变换的输入都是768维，输出都是768维将该矩阵输入上面的三个线性转换，就可以得到三个矩阵KQV，，维度其实没有改变。

m0_51474171的博客 1万+

Transformer注意力机制深度解析：从QKV原理到工程调优

注意力机制是现代大语言模型理解上下文的核心基础，其本质是通过动态计算词元间语义相关性，实现可学习、即时、细粒度的上下文建模。它突破了RNN的序列依赖与CNN的局部感受野限制，关键在于QKV三者协同完成‘提问—匹配—响应’的认知闭环：Q表征当前token的关注焦点，K提供可被检索的语义凭证，V承载实际贡献的内容。该机制直接决定模型对歧义词（如bank、apple）的消歧能力与长程依赖建模效果，并深刻影响计算复杂度、显存占用及硬件利用率。本文聚焦真实项目中的QKV分离动因、多头设计逻辑、点积选择依据及Linfo

weixin_34005042的博客 407

手写Vision Transformer：从Patch Embedding到Attention的逐行实现

Vision Transformer（ViT）是一种将图像建模为序列的视觉基础模型，其核心在于将二维像素网格转化为一维token序列。这一过程并非简单展平，而是通过patch embedding引入空间归纳偏置，再结合可学习的位置编码与多头自注意力机制，实现长程依赖建模。ViT的技术价值在于结构透明、模块可插拔，支持深度定制与精准调试；典型应用场景包括模型轻量化、医学图像分类、面试算法推导及跨模态架构改造。本文聚焦from scratch实现，深入解析patch embedding切片逻辑、attentio

weixin_30824599的博客 607

Attention机制的统计学本质：从协方差投影到QKV设计

注意力机制并非深度学习独创的黑箱，而是经典统计学中加权判别与协方差结构建模的思想延续。其核心原理在于通过内积度量样本间标准化相似度（即相关系数），再经归一化形成自适应加权投影——这与多元正态分布下的线性判别分析严格同构。该技术价值在于以数据驱动方式动态保持二阶统计稳定性，支撑长程依赖建模与上下文敏感决策。典型应用场景涵盖机器翻译、金融时序异常检测、低资源NER等需鲁棒协方差推理的任务。本文深入剖析softmax归一化、缩放因子√d_k及QKV角色的统计本源，揭示attention实为‘可微分的协方差加权平均

weixin_34101784的博客 286

GLM-5.1模型结构深度解析：MoE、Attention与Config工程耦合机制

大语言模型的结构设计是性能与部署效能的核心基础。从Transformer通用范式出发，MoE（Mixture of Experts）通过动态路由提升参数效率，Attention机制决定长程建模能力，而config文件则承载着架构意图与硬件适配约束。三者并非独立模块，而是深度耦合的技术闭环：MoE路由依赖Attention输出的token级置信度，Attention行为又受config中qk_norm、rope_linear_decay、structured_dropout等定制化参数联合调控，而config

weixin_30394981的博客 389

Self-Attention机制深度解析：从原理到实战

本文系统梳理了Self-Attention机制的核心要点：1）原理是通过Query-Key-Value三组向量计算全局依赖关系；2）关键设计包括除以√dₖ稳定训练、多头机制增强表达能力、位置编码补充序列信息；3）相比RNN/CNN具有全局建模和并行计算优势，但存在O(n²)复杂度瓶颈；4）实践应用涉及图像处理(ViT)和多种优化方法(FlashAttention等)。全文涵盖原理阐释、公式推导、对比分析、优化方案等维度，是理解Transformer架构中Self-Attention模块的完整指南。

qq_67210088的博客 437

Transformer架构深度解析：从Oracle思维看注意力机制设计

Transformer是现代大语言模型的核心架构，其本质是一套基于自注意力（Self-Attention）的可微分信息检索系统。它通过Query-Key-Value三元映射实现词元间动态关联，以位置编码重建序列序关系，并借由残差连接与层归一化保障深层网络稳定训练。该架构在数学上严格支撑自回归生成的条件概率链式分解，工程上体现为对计算、内存与泛化能力的协同优化。典型应用场景包括机器翻译、文本摘要、对话生成及RAG增强推理。本文结合数据库系统（如Oracle）的设计哲学，深入剖析输入嵌入、位置编码、多头注意力、

dingguayi7025的博客 473

多头自注意力机制原理与PyTorch工程实践

注意力机制是现代深度学习模型的核心组件，本质是一种基于查询-键-值（QKV）动态加权聚合的序列建模方法。其原理突破了RNN的串行限制与固定上下文瓶颈，通过可导、可并行的相似度计算实现长程依赖建模。技术价值体现在模型表达能力提升、硬件利用率优化及任务适配灵活性增强。典型应用场景涵盖NLP机器翻译、CV目标检测中的CBAM模块、时序预测及多模态对齐等。本文聚焦多头自注意力机制原理的底层实现逻辑，结合PyTorch手写代码、mask处理细节与FlashAttention-2显存优化，系统解析从理论公式到GPU落地

anmishi2025的博客 752

大模型面试必备：Self-Attention机制深度解析与实践

Self-Attention是Transformer架构的核心组件，通过QKV三元组实现输入序列的交互建模。其数学本质是计算查询向量与键向量的相似度，经softmax归一化后对值向量加权求和。这种机制能够捕捉长距离依赖关系，在自然语言处理、计算机视觉等领域展现出强大性能。工程实践中，多头注意力通过并行计算提升效率，而位置编码则解决序列顺序问题。随着大模型技术的发展，Flash Attention等优化方案有效降低了计算复杂度。掌握Self-Attention的原理与实现，是应对AI岗位面试的关键，也是理解现

weixin_29053577的博客 276

Gated DeltaNet线性注意力机制解析与优化实践

线性注意力机制是Transformer架构中的重要创新，通过数学优化将计算复杂度从O(N²)降至O(N)。其核心原理是避免显式计算注意力矩阵，转而维护隐藏状态实现增量更新。这种技术在处理长序列数据（如文档、视频、生物序列）时展现出显著优势，能有效降低显存占用并提升计算效率。Gated DeltaNet作为最新变体，创新性地引入门控机制和增量计算，在Qwen3-Next等大模型中实现了性能与效率的平衡。工程实践中，结合Flash Attention优化和混合精度训练，可使长序列处理的显存需求降低75%以上。该

weixin_30599769的博客 397

LoRA 微调后长文本失效？深挖 Self-Attention 矩阵秩缺失的数学真相

通过本文的学习，我们掌握了 LoRA 微调后长文本失效？深挖 Self Attentio 的核心知识。

lady_mumu的博客 4650

BERT实操地图：Tokenization、Attention Mask与[CLS]的物理意义

BERT是一种基于Transformer架构的预训练语言模型，其核心原理在于通过自注意力机制建模长程依赖，并借助子词分词（如WordPiece）实现对未登录词的鲁棒处理。技术价值体现在大幅降低NLP任务的特征工程门槛，将开发重心从模型结构设计转向业务语义对齐。典型应用场景包括意图识别、情感分析、命名实体识别等短文本分类与序列标注任务。在工程落地中，tokenization决定语义原子粒度，attention mask控制模型‘视觉焦点’，而[CLS]向量并非通用句表征，而是下游任务微调后生成的任务定制化语义

chuchen7021的博客 424

银河麒麟桌面版V10搭建Qt4.8.6开发环境

银河麒麟桌面版V10搭建Qt4.8.6开发环境

qq_34932364的博客 2401

文档分类实战：注意力机制在长文本多类别场景中的工程落地

文档分类是企业智能办公的核心NLP任务，本质是将非结构化文本映射到预定义语义类别。其技术难点在于长文本建模、类别语义模糊、格式噪声干扰及样本不均衡。注意力机制通过动态加权关键token，显著提升模型对判别性语义片段（如‘退货流程’‘违约金条款’）的聚焦能力，相比传统TF-IDF+机器学习方法，在500字以上文档中F1值可提升10个百分点以上。该技术已广泛应用于客服工单分类、合同归档、简历筛选等工业场景，尤其适配PDF/扫描件等多格式输入。本文聚焦注意力机制在真实业务中的选型逻辑、预处理陷阱与可解释性调试，覆

diejiankuai3444的博客 546

Ubuntu终端AI编程助手配置：Claude Code接入DeepSeek模型全攻略

在软件开发领域，AI编程助手正成为提升开发效率的重要工具。其核心原理是通过大语言模型理解自然语言指令，生成、解释或调试代码。这类工具的技术价值在于将AI能力无缝集成到开发工作流中，减少上下文切换，实现更流畅的人机协作。常见的应用场景包括代码生成、错误调试、代码重构和技术问答等。本文聚焦于在Ubuntu系统中，将流行的终端AI助手Claude Code的后端模型从原版Claude替换为DeepSeek。通过配置环境变量实现API端点和模型的映射，这一过程涉及Node.js环境管理、npm包安装和关键环境变量设

weixin_42527654的博客 378

Transformer实战避坑指南：从显存优化到Attention幻觉破解

Transformer是现代NLP的基石架构，其核心在于自注意力机制与并行化计算范式的设计权衡。理解其底层原理需超越公式推导，深入GPU显存带宽、内存访问模式与梯度传播稳定性等工程约束。LayerNorm位置选择直接影响梯度爆炸风险，FlashAttention等优化方案显著降低长序列推理显存占用，而Attention权重图常存在归一化幻觉与跨层幻觉——真实决策依据需结合梯度显著性联合分析。在分类、NER、机器翻译等典型任务中，Encoder-only与Decoder架构的选择直接决定模型效率与效果上限。本

weixin_30536513的博客 448

SAP ABAP VL09 BAPI VL 216

ls_batch_item-fact_unit_denom = ls_lips_split-umvkn. "销售数量转换为 SKU 的值（分母）ls_batch_item-fact_unit_nom = ls_lips_split-umvkz. "销售数量转换成SKU的分子(因子)ls_batch_item-sales_unit_iso = ls_lips_split-meins. "被拆分DN基本单位。

ChampaignWolf的专栏 2300

【2023版】基于JT808/JT1078协议的车载视频监控平台开发实战-开源架构解析

本文详细解析了基于JT808/JT1078协议的车载视频监控平台开发实战，涵盖协议核心作用、开源架构设计、开发避坑指南及二次开发建议。重点介绍了JT1078协议在音视频传输中的优化方案，以及海量位置数据存储、高可用架构等关键技术点，为开发者提供全面的实战参考。

weixin_26965807的博客 236

深入解析Multi-Head Attention：从理论到实践

本文深入解析了Transformer模型的核心组件Multi-Head Attention机制。通过生动的“专家团队”比喻，详细拆解了其从数学原理到PyTorch代码实现的完整过程，并分享了头数选择、注意力可视化及效率优化等实战经验，帮助读者从理论到实践全面掌握这一关键技术。

weixin_29053383的博客 408

Unity零基础到入门☀️| 万字教程 讲解Unity中的数据存储 PlayerPrefs、XML、JSON【建议收藏】

本文章是Unity零基础到入门专栏的系列文章。 适合对Unity3D引擎感兴趣的小伙伴学习，偏向于新手学习！ 本篇文章就来介绍一下Unity中三种基本的数据存储方式：PlayerPrefs、XML、JSON

努力前行，总会成为自己心中的那道光 8万+
上一篇： NLP注意力机制形象讲解
下一篇： GBDT、Xgboost、RF的区别
点赞 0
评论 0
书签 书签 0
火星种萝卜
火星种萝卜
博客等级 码龄19年 438粉丝 304原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值