『NLP学习笔记』如何理解Transformer中的Q,K,V以及Mask[补充深度学习中的FLOPs是什么？如何计算]

已于 2023-08-17 13:57:24 修改
阅读量1.1k 收藏 3
点赞数 1
CC 4.0 BY-SA版权
分类专栏： NLP学习笔记 文章标签： Transformer NLP torch.max mask flops
于 2022-10-12 23:56:22 首次发布
引用请附上作者博客链接https://zhangkaifang.blog.youkuaiyun.com/，谢谢理解！
本文链接：https://blog.youkuaiyun.com/abc13526222160/article/details/127292483
本文详细介绍了Transformer中的Q、K、V的理解，包括它们的线性变换、自注意力计算过程，解释了为什么叫做自注意力网络以及为何没有位置信息。此外，还阐述了Transformer中的mask机制，分为Attention Mask和Padding Mask，防止标签泄露并处理非定长序列。同时，文章补充了torch.max()和torch.topk()在深度学习中的作用。最后，解释了深度学习中的FLOPs概念及其计算方法，用于评估模型复杂度。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

如何理解Transformer中的Q,K,V以及Mask[补充深度学习中的FLOPs是什么？如何计算]

文章目录

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【图像去噪】论文精读：Rethinking Transformer-Based Blind-Spot Network for Self-Supervised Image Denoising
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
01-06 1010
论文题目：Rethinking Transformer-Based Blind-Spot Network for Self-Supervised Image Denoising —— 重新思考基于变压器的盲点网络用于自监督图像去噪AAAI 2025！盲点网络(BSN)一直是自监督图像去噪(SSID)中流行的神经体系结构。然而，大多数现有的 BSN 都是用卷积层进行的。尽管变压器已经显示出克服卷积在许多图像恢复任务中的局限性的潜力，但注意机制可能会违反盲点要求，从而限制了它们在BSN中的适用性。
深度学习路线总结 (含链接)
2301_79695159的博客
07-25 1312
深度学习资料链接总结
Transformer中Q，K，V的理解
yrk0556的博客
02-20 2万+
Query，Key，Value的概念取自于信息检索系统，举个简单的搜索的例子来说。当你在某电商平台搜索某件商品（年轻女士冬季穿的红色薄款羽绒服）时，你在搜索引擎上输入的内容便是Query，然后搜索引擎根据Query为你匹配Key（例如商品的种类，颜色，描述等），然后根据Query和Key的相似度得到匹配的内容（Value)。 来源：https://zhuanlan.zhihu.com/p/48508221 可以参考下图，每一个单词都有QKV这三个向量，这里运用了注意力机制，也有是会去求其他单词和该单词的.
注意力机制Q K V
studyvcmfc的专栏
06-24 1078
https://zhuanlan.zhihu.com/p/67115572
Transformer的Q、K、V和Mutil-Head Self-Attention（超详细解读）
weixin_45303602的博客
11-02 3万+
举个例子我们在某宝上搜索东西，输入的搜索关键词就是Q，商品对应的描述就是K，Q与K匹配成功后搜索出来的商品就是V。Q、K、V经过Linear然后经过h个Self-Attention，得到h个输出，其中h指的是注意力的头数。更多的头数意味着更强大的模型能力，比如LLM大模型Baichuan-13B中的head数目是40，而Baichuan-7B中的head数目是32。是三个可训练的参数矩阵，输入矩阵X分别与三个矩阵参数进行相乘，相当于进行一次线性变换，得到了Q、K、V。，那Q、K、V是怎么来的呢？
BLIP2中Q-former详解
热门推荐
zyb的博客
10-30 4万+
Querying Transformer，在冻结的视觉模型和大语言模型间进行视觉-语言对齐。为了使Q-Former的学习达到两个目标：学习到和文本最相关的视觉表示。这种表示能够为大语言模型所解释。需要在Q-Former结构设计和训练策略上下功夫。具体来说，Q-Former是一个轻量级的transformer，它使用一个可学习的query向量集，从冻结的视觉模型提取视觉特征。采取两阶段预训练策略。
[LLM] 自然语言处理 ----- Attention机制中的Q,K,V介绍
摩登都市天空---专栏
09-14 2万+
注意力机制就是要通过训练得到一个加权，自注意力机制就是要通过权重矩阵来自发地找到词与词之间的关系。 Q就是词的查询向量，K是“被查”向量，V是内容向量。 简单来说一句话：Q是最适合查找目标的，K是最适合接收查找的，V就是内容，这三者不一定要一致，所以网络这么设置了三个向量，然后学习出最适合的Q, K, V，以此增强网络的能力。 因此肯定需要给每个input定义tensor，然后通过tensor间的乘法来得到input之间的关系。那这么说是不是给每个input定义...
机器学习/深度学习资料
2401_86435672的博客
07-30 1358
新年大礼包：机器之心2018高分教程合集CVPR2019目标检测方法进展综述。
ACC-UNet网络学习笔记（2023 MICCAI ）
朴实无华的研究生活
01-28 1273
ACC-UNet网络学习笔记（2023 MICCAI ）
为什么Transformer解码层需要用mask？
ZHVEH
09-09 1579
关于Transformer的mask问题。
Transformer 中 Mask 的那些事
AI研究院
06-11 1184
具体来说，最有效的修改是 N-gram mask 和相似的单词替换，这是对 mask 的语言模型任务的修改。令人惊讶的是，我们发现 40% 的遮蔽概率的输入序列可以优于 15% 的基线，通过对下游任务的微调来衡量可以发现，甚至遮蔽 80% 的字符也可以保留大部分性能。huggingface 中 data allcator 使用的是动态 mask，但不是复制数据，而是每一个 epoch 的 mask 策略都不同，这样就可以达到动态 mask 的效果了，从而使得每一个 epoch 的 mask 的情况都不同。
注意力机制（Q,K,V）基本概念
Dys_debug的博客
11-27 7107
1. 查询（自主提示）和键（非自主提示）之间的交互形成了注意力汇聚；注意力汇聚有选择地聚合了值（感官输入）以生成最终的输出。2. 注意力汇聚根据不同的概念可分为带参型、非参型。或是拆分为评分函数+softmax的形式
pgsql grant语句针对属性授予权限
狂放不羁霸的博客
06-05 1359
grant () on to [ with grant option ];
Attention中的Mask: query mask, key mask, future mask
weixin_40901056的博客
07-27 9523
Attention简介 Attention是2015年被提出来的，在NLP领域大放光彩。Attention具有在繁多信息中自动focus到重点的能力，而且Attention可以实现并行，一定程度上可以替代LSTM等循环神经网络，提高模型效率。Attention的具体介绍可以参考Attention总结。 根据上面的Attention总结，Attention可以看作是 QKV 模型，假设输入为 q，（...
Transformer的矩阵维度分析和Mask详解
我最怜君中宵舞的博客
09-29 3万+
文章目录Multi-Head attention中矩阵维度的变化Transfromer的训练过程Transformer的句子生成过程Maskmask矩阵对K进行mask对Q进行maskMasked Multi-Head Attention中的Mask mask时Transformer中很重要的一个概念，mask操作的目的有两个： 让padding(不够长补0)的部分不参与attention操作 ...
【transfomer】transfomer中Q、K、V的理解
rocking_struggling的博客
11-05 4503
简单来说，Q和K用于计算相关性系数，V相当于原始序列。V在相关性系数的加权下获得注意力层的输出。
Transformer中的Q，K，V
vivi_cin的博客
06-25 6174
transformer中的Q,V,T和attemtion
通俗解读NLP中几种常见的注意力机制
计算机与数学领域的学习、分享、交流。
03-11 1万+
注意力机制在NLP领域中有广泛的应用，诸如机器翻译、智能对话、篇章问答等。在模型设计中使用注意力机制，可以显著提升模型的性能。然而，对于初识注意力机制的朋友来说，可能会有这样的疑问：自然语言处理中说的注意力机制到底是啥？它与我们大脑中的注意力有何联系？它是如何实现的？面对诸多疑问，本文将用通俗的语言来解开这些困惑。本文首先简单介绍一下认知神经学中的注意力。接着，详细解说NLP领域常见的三种注意力机制：Bahdanau注意力、Luong注意力和自注意力（self-attention）。最后，对几种注意力机制进
站在巨人的锁骨上,BERT模型的理解
WuGuo12138的博客
03-16 941
在BERT出现前，有很多人已经根据自己的假设完成了NLP的相关任务，BERT的出现也不是凭空出现的，现在从三个方面来谈一下我理解下的BERT 一.BERT的简介 二.BERT的“刀刃” 三.为什么被叫做预训练模型 第一点：BERT的简介 BERT全称Bidirectional Encoder Representation from Transformers，从命名上我们就能知道他依托的是Transformer架构，并且在文本的处理上采用的是双向文本的向量化，这两个概念一形成我们就抓住了他的重点，而
可以改成markdown语法吗
最新发布
02-22
<think>好的，我现在需要处理用户的一个请求。用户之前已经得到了关于人工智能核心技术的详细中文回答，现在他问是否可以将之前的回答改成Markdown语法。我需要回顾之前的对话历史，看看用户的具体需求是什么。 首先，用户最初的要求是详细介绍每个技术，助理已经用结构化的方式分点列出，并且包含了表格和时间轴等内容。现在用户希望将这些内容转换为Markdown语法。可能用户需要将内容用于文档、笔记或者网页中，Markdown格式更便于格式化和展示。 接下来，我需要检查之前的回答是否已经是Markdown格式。在用户提供的之前的回答中，确实已经使用了Markdown元素，比如标题、列表、表格和代码块。不过可能用户希望整个回答都严格遵循Markdown语法，或者希望以更规范的Markdown结构呈现，例如使用正确的标题层级、代码块标注语言类型等。 我需要确认用户的具体需求，可能用户希望得到完整的Markdown文档，包含所有部分，如基础支撑技术、关键领域技术、前沿突破方向、技术挑战详解和未来技术焦点，以及时间轴。此外，用户可能还希望表格和时间轴等部分用正确的Markdown语法表示，比如表格使用竖线分隔，时间轴用代码块包裹。 同时，要注意用户可能对Markdown的某些细节有特别要求，例如是否使用缩进、列表的符号是否正确，以及代码块是否标注语言类型（如```markdown）。在之前的回答中，时间轴部分已经用```markdown标记，但其他部分可能没有完全使用标准的Markdown语法，例如部分列表可能没有正确的缩进或符号。 另外，用户可能没有意识到之前的回答已经部分使用了Markdown，或者希望更规范的格式。因此，我需要将整个内容转换为标准的Markdown，确保标题层级正确，列表符号一致，表格对齐正确，代码块正确标注语言，并且时间轴部分用正确的Markdown代码块展示。 在处理过程中，还需要检查是否有遗漏的部分，例如技术挑战详解中的各个挑战是否用适当的子标题和列表项表示，未来技术焦点中的每个点是否结构清晰。同时，表格部分需要调整格式，确保列对齐，使用正确的竖线分隔符。 最后，确保转换后的Markdown在渲染后能够正确显示所有内容，没有语法错误。例如，检查表格中的列是否对齐，避免出现错位的情况。另外，时间轴部分需要使用代码块并标注语言类型，以便正确高亮显示。 总结来说，用户的需求是将之前的详细技术介绍转换为标准的Markdown格式，可能需要调整结构、语法细节，确保所有部分都符合Markdown规范，便于用户后续使用和展示。我需要仔细检查每个部分，进行必要的格式调整，确保最终输出的Markdown内容准确无误，结构清晰。</think>以下是整理后的**Markdown版本**技术详解： ```markdown # 人工智能（AI）核心技术详解 ## 一、基础支撑技术 ### 1. 机器学习（Machine Learning） - **定义**：通过数据训练模型，使系统无需显式编程即可改进性能。 - **核心方法**： - **监督学习** - 使用带标签的数据训练模型（如预测房价、图像分类） - *经典算法*：支持向量机（SVM）、随机森林 - **无监督学习** - 从无标签数据中发现模式（如客户分群） - *典型应用*：K-means聚类、主成分分析（PCA） - **半监督学习** - 结合少量标签数据和大量无标签数据 - *案例*：X光片肺炎检测模型 ### 2. 深度学习（Deep Learning） - **核心架构**： - **CNN（卷积神经网络）** - 通过卷积核提取局部特征 - *里程碑*：ResNet-152将ImageNet错误率降至3.57% - **RNN（循环神经网络）** - 处理序列数据（如文本、语音） - *改进版*：LSTM网络解决长序列梯度消失 - **Transformer** - 基于自注意力机制，并行处理序列 - *突破*：BERT在11项NLP任务中刷新记录 | 训练技术 | 说明 | 典型案例 | |----------------|-------------------------------|-------------------| | 反向传播 | 链式法则计算梯度 | 全连接网络调参 | | Adam优化器 | 结合动量与自适应学习率 | 加速CNN训练收敛 | ## 二、关键领域技术 ### 3. 自然语言处理（NLP） ```markdown - **词嵌入技术演进**： 1. Word2Vec（2013）：静态词向量（"国王 - 男人 + 女人 ≈ 女王"） 2. BERT（2018）：上下文动态编码 - **大语言模型**： - GPT-3：1750亿参数支持零样本学习 - ChatGPT：通过RLHF优化对话逻辑 ``` ### 4. 计算机视觉（CV） ```markdown - **目标检测**： - YOLOv8：单阶段检测，速度100 FPS - Mask R-CNN：检测+像素级分割 - **图像生成**： - Stable Diffusion：扩散模型生成512x512图像仅需2秒 ``` ## 三、前沿突破方向 ### 6. 生成式AI（Generative AI） ```markdown - **多模态应用案例**： - GPT-4V：图文跨模态理解（医学影像报告生成） - Sora：60秒物理规则模拟视频生成（水花溅射效果） ``` ## 技术发展时间轴 ```markdown 2012 | AlexNet引发深度学习革命 2017 | Transformer架构诞生 2022 | ChatGPT刷新用户增长记录 2024 | Sora实现长视频生成突破 ``` ## 关键技术挑战 ```markdown - 算力需求：GPT-4训练需2.15×10²⁵ FLOPs - 数据依赖：PaLM模型使用7800亿token - 能耗问题：GPT-3耗电≈120户美国家庭年用量 ``` > 注：以上内容可直接保存为`.md`文件，在支持Markdown的编辑器（如VS Code、Typora）中查看结构化排版效果。表格、代码块、列表等元素均已按标准语法格式化。 ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI大模型前沿研究

感谢您的打赏，我会继续努力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值