从MHA、GQA、MQA到MHLA，注意力的几种处理方式

原创 已于 2025-02-12 09:24:19 修改 · 765 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #深度学习 #transformer #自注意力

于 2025-02-12 09:12:56 首次发布
注意力机制定义

传统的注意力机制QK不同源。

而在自注意力机制中，QKV都来自于同一组元素，是想让机器注意到整个输入中不同部分之间的相关性。

计算方式：
Attention(Q,K,V)=Softmax(Q⋅KTdk)⋅V Attention(Q,K,V)=Softmax(\frac{Q·K^T}{\sqrt{d_k}})·V Attention(Q,K,V)=

最低0.47元/天 解锁文章
从MHA、MQA、GQA到MLA
步子哥的博客
08-18 1411
尤其是在长上下文的情况下，KV Cache的大小会随着输入长度的增加而增长，从而影响了模型的推理速度和资源消耗。通过对MHA、MQA、GQA和MLA的分析，我们可以看到，随着技术的发展，模型设计不断优化，以应对现实应用中的各种挑战。这篇文章详细介绍了从MHA到MLA的演变过程，强调了在推理过程中缓存的重要性，以及如何通过不同的模型设计来减少缓存的需求。，显著降低了显存的占用。在推理阶段，MLA通过共享K和V的方式，将KV Cache的大小保持在合理范围内，从而避免了MHA带来的显存瓶颈。
【LLM】(KV cache优化)MHA、MQA、GQA、MLA、YOCO机制的区别
发现问题，并解决问题，批判性思维
02-16 4270
MHA机制（Multi-head Attention） MHA（Multi-head Attention）是标准的多头注意力机制，包含h个Query、Key 和 Value 矩阵。所有注意力头的 Key 和 Value 矩阵权重不共享 MQA机制（Multi-Query Attention） MQA（Multi-Query Attention，Fast Transformer Decoding: One Write-Head is All You Need）是多查询注意力的一种变体，也是用于自回归解码的一
注意力机制——Multi-Head Attention（MHA）
热门推荐
weixin_50752408的博客
03-16 2万+
对于一个给定的查询向量，MHA 会对键向量进行加权求和，权重由查询向量和键向量之间的相似度计算得到，然后将得到的加权和乘以值向量进行输出。在多头机制下，输入的序列数据会被分成多个头，每个头进行独立的计算，得到不同的输出。其中 Q, K, V 分别表示查询向量、键向量和值向量，ℎ 表示头的数量，headi​ 表示第 i 个头的输出，WO 是输出变换矩阵。其中 dk​ 是键向量的维度，softmax相似度进行归一化，将每个键向量的权重计算出来，然后将权重乘以值向量，最后进行加权求和得到注意力输出。
LLM中的Attention实现及优化
AIBigModel的博客
01-06 1068
作者：phynlp原文：https://zhuanlan.zhihu.com/p/15348185464。
深度学习中的注意力机制革命：MHA、MQA、GQA至DeepSeek MLA的演变
Androiddddd的博客
02-24 1390
从MHA到MQA、GQA，再到MLA，注意力机制的演变展示了在效率与性能之间不断优化的轨迹。MLA通过创新的KV缓存压缩和恢复机制，实现了在资源消耗、推理速度和模型性能之间的最佳平衡，为大语言模型的高效部署和应用提供了新的可能性。
MHA、MQA、GQA注意力机制详解
qq128252的博客
05-11 2758
自回归解码器推理是 Transformer 模型的 一个严重瓶颈，因为在每个解码步骤中加 载解码器权重以及所有注意键和值会产生 内存带宽开销下图为三种注意力机制的结构图和实验结果。
一文通透各种注意力：从多头注意力MHA到分组查询注意力GQA、多查询注意力MQA
结构之法 算法之道
11-05 1万+
因此，可以确认：在 MQA 中，除了 query 向量还保存着 8 个头，key 和 value 向量都只剩 1 个「公共头」了，这也正好印证了论文中所说的「所有 head 之间共享一份 key 和 value 的参数」然而，随着上下文窗口或批量大小的增加，多头注意力 (MHA)模型中与 KV 缓存大小相关的内存成本显着增长。对于较大的模型，KV 缓存大小成为瓶颈，键和值投影可以在多个头之间共享，而不会大幅降低性能，可以使用。)，其能够在保证模型效果的同时加快 decoder 生成 token 的速度。
大模型注意力机制的演化：MHA、MQA与GQA
weixin_48222697的博客
06-23 1922
本文系统介绍了Transformer架构中的三种注意力机制变体：多头注意力(MHA)、多查询注意力(MQA)和分组查询注意力(GQA)。MHA每个头独立计算Q/K/V，表现力强但计算成本高；MQA共享K/V，提升推理速度但性能受限；GQA通过分组共享K/V，在性能与效率间取得平衡。文章重点阐述了GQA结合KV缓存(KVCache)的技术原理，该方案可显著降低大模型推理时的显存占用和计算开销，已成为GPT-4等主流大模型的关键优化手段。
注意力机制进化之路：MHA、MQA、GQA
YPeng_Gao的博客
03-06 1419
特别是在处理自然语言、图像识别等复杂任务时，一种名为“注意力机制”的技术脱颖而出，成为提升模型性能的关键。本文将深入浅出地介绍几种主流的注意力机制，包括多头注意力 (MHA)、多查询注意力 (MQA)、分组查询注意力 (GQA)，以及最新的 DeepSeek FlashMLA，帮助您理解它们的工作原理、优缺点以及应用场景。多头注意力（Multi-Head Attention, MHA）是 Transformer 模型最初采用的注意力机制，也是后续各种变体的基础。
MHA、MQA、GQA注意力的介绍和代码实现
AI前沿技术的分享！
02-11 2622
GQA-N 是指具有 N 组的 Grouped Query Attention。GQA-1具有单个组，因此具有单个Key 和 Value，等效于MQA。而GQA-H具有与头数相等的组，等效于MHA。GQA介于MHA和MQA之间。GQA 综合 MHA 和 MQA ，既不损失太多性能，又能利用 MQA 的推理加速。不是所有 Q 头共享一组 KV，而是分组一定头数 Q 共享一组 KV，比如上图中就是两组 Q 共享一组 KV。
注意力机制：从 MHA、MQA、GQA、MLA 到 NSA、MoBA
qq_47898999的博客
04-28 1883
大语言模型中的注意力机制：从 MHA、MQA、GQA、MLA 到 NSA、MoBA
理解 MHA、GQA、MQA 和 MLA：多头注意力的变种及其应用
lqq
02-25 3498
在深度学习、自然语言处理（NLP）和计算机视觉（CV）中，多头注意力（Multi-Head Attention, MHA）是 Transformer 结构的核心。近年来，MHA 产生了多个变体，如和，这些改进主要用于提高计算效率和减少计算开销。本文将深入探讨这些注意力机制的工作原理、数学公式、优缺点及应用场景，帮助理解Transformer 及其改进版本。
​如何用AI处理音乐音频消除作品信息里的 AI 痕迹-程序员音乐人卓伊凡
一颗优雅草科技-央千澈的优快云博客~只想无穷无尽的学习~作息早8-晚8
12-11 1348
​如何用AI处理音乐音频消除作品信息里的 AI 痕迹-程序员音乐人卓伊凡
精品数据分享 | 锂电池数据集（七）同济大学电池数据集
12-11 1079
本期继续分享一篇Nature communicationTop论文公开锂离子电池数据，划重点-数据集开源，代码开源！！！
以太联的自愈功能与看门狗机制解析
suzhou_speeder的博客
12-15 594
看门狗(Watchdog)是一种硬件或软件实现的定时器机制，其核心功能是监控系统或程序的运行状态，防止程序跑飞或陷入死循环。案例：车载以太网交换机通过硬件看门狗实时监测链路状态，若检测到链路中断(如3ms内未收到心跳包)，立即启用备用路径，确保刹车、转向等关键系统永不掉线。案例：某智能工厂的PLC(可编程逻辑控制器)采用软件看门狗，若主程序因干扰死机，看门狗机制自动重启PLC，恢复生产流程。三者协同工作，实现“设备-交换机-网络”三级自愈，显著提升网络可靠性、降低运维成本，并为企业数字化转型提供坚实基础。
AIDD-人工智能药物设计-扩散模型热力学：从 AI 提取物理能量
itwangyang520的博客
12-14 756
扩散模型的核心是加噪与去噪。这对业界的启示是，要实现精准医疗，特别是针对耐药突变的药物设计，不能仅依赖大语言模型（Large Language Model, LLM）处理序列。他们从文献和数据库中挖掘了过去被忽略的细节：氨基酸的替换、插入、缺失，以及关键的磷酸化修饰，最终整理出 4032 对新的激酶 - 配体数据。GeneGPT 曾展示了大语言模型（LLM）在生物医药领域的潜力，而 OpenBioLLM 提出了不同于 GeneGPT 单体（Monolithic）架构的方案：组建由「专家」构成的团队。
vLLM推理引擎教程4-离线推理功能
benben044的专栏
12-12 881
本文介绍了使用vLLM框架优化推理性能的多种方法。主要内容包括：1）基础文本生成、对话式推理、文本分类和嵌入提取四种任务的基本实现；2）自动前缀缓存功能，通过共享KV缓存加速长上下文处理；3）使用YARN方法扩展模型上下文长度；4）多模态任务处理示例（Whisper语音识别）；5）底层LLMEngine API的使用。文章通过具体代码示例展示了如何设置参数实现各类推理优化，包括温度调节、top-p采样、缓存复用等技巧，适用于文本生成、分类、嵌入等多种NLP任务场景。
观成科技:Zloader木马家族加密流量分析
GCKJ_0824的博客
12-12 669
摘要：Zloader木马最初作为银行木马Zeus的下载器，现被广泛用于勒索软件投递。其采用多种加密通信技术规避检测：1）DGA技术生成随机域名；2）DNS隧道隐藏数据；3）HTTPS加密通信；4）Websocket掩码加密。最新版本通过会话密钥强化DNS隧道加密。观成科技利用AI模型结合TLS指纹检测HTTPS加密流量，持续通过行为分析和机器学习应对加密威胁。研究表明，恶意软件正不断升级流量对抗技术，凸显加密流量检测的重要性。（149字）
nl2sql技术实现自动sql生成之Spring AI Alibaba Nl2sql
最新发布
疾风sxp的博客
12-15 511
上一节我们在介绍了自然语言转sql的基本思路，今天我们通过实操来解决这一技术实现，通过Spring AI Alibaba开源的nl2sql框架进行这块技术的讲解。
分组查询注意力（GQA 什么意思
02-09
### 分组查询注意力（GQA）定义解释 #### 什么是分组查询注意力？ 分组查询注意力（Grouped Query Attention, GQA）是对传统多头注意力（Multi-Head Attention, MHA）和多查询注意力（Multi-Query Attention, MQA）的一种扩展形式[^1]。这种机制旨在通过提供计算效率与模型表达能力之间的灵活权衡，从而优化大规模语言模型中的注意力机制。 #### 关键特性 GQA的核心理念在于将查询头划分为若干个小组，在每个小组内部共享一组公共的键（Key, K）和值（Value, V）投影矩阵。具体来说： - 查询头被均匀分配到 \( G \) 组中； - 每个组内的所有查询头共用同一套键和值权重参数； - 这种设计既保留了一定程度上的并行处理优势，又避免了完全依赖单一键值对所带来的潜在质量问题[^2]。 #### 工作原理 当应用GQA时，输入序列会经过线性变换得到不同维度下的表示向量作为各个头部的工作基础。对于每一个查询组而言，其对应的键和值是从整个输入空间映射而来而非仅限于该组独有的部分；这意味着尽管存在资源共享的情况，但依然能捕捉到来自全局的信息交互模式[^3]。 ```python import torch.nn as nn class GroupedQueryAttention(nn.Module): def __init__(self, d_model, num_query_groups, n_heads_per_group=8): super().__init__() self.num_query_groups = num_query_groups total_heads = num_query_groups * n_heads_per_group # Define key and value projections shared within each group self.kv_projections = nn.Linear(d_model, d_model * 2) # Define query projection for all heads self.q_projection = nn.Linear(d_model, d_model * total_heads) def forward(self, x): batch_size, seq_len, _ = x.size() kvs = self.kv_projections(x).reshape(batch_size, seq_len, 2, -1) queries = self.q_projection(x).view(batch_size, seq_len, self.num_query_groups, -1) keys, values = kvs.chunk(2, dim=-2) return keys, values, queries ``` 此代码展示了如何构建一个简单的基于PyTorch框架的GQA层结构实例。这里`num_query_groups`指定了要创建多少个独立的查询组，而`n_heads_per_group`则决定了每组内含有的查询头数目[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值