MHA & MQA & GQA & MLA

原创 已于 2025-02-21 18:22:17 修改 · 1.1k 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大模型

于 2024-12-20 15:12:32 首次发布

0. 引言

引入多头注意力机制是为了让每个注意力机制去优化每个词汇的不同特征部分，从而均衡同一种注意力机制可能产生的偏差，从而增强模型的表达能力。

因为Transformer的encoder和decoder两个部分结构不同，在计算多头注意力时也会有些许不同。而后续的大模型大多数用的都是 decoder-only 结构，这种结构天然适合做KV-Cache，这是一种以空间换时间的策略，为了减少KV-Cache的内存占用就有了后面的MQA（Multi-Query Attention），GQA（Grouped-Query Attention）以及MLA（Multi-head Latent Attention）。

此篇博文介绍一下从MHA、MQA、GQA到MLA的进化历程。

简单来讲：

  • 在 MHA（Multi Head Attention） 中，每个头有自己单独的 key-value 对。标准的多头注意力机制，h个Query、Key 和 Value 矩阵。
  • 在 MQA（Multi Query Attention） 中只会有一组 key-value 对，多头注意力的一种变体，也是用于自回归解码的一种注意力机制。与MHA不同的是，MQA 让所有的头之间共享同一份 Key 和 Value 矩阵，每个头只单独保留了一份 Query 参数，从而大大减少 Key 和 Value 矩阵的参数量。
  • 在 GQA（Grouped Query Attention） 中，会对 attention 进行分组操作，query 被分为 N 组，每个组共享一
了解本专栏 订阅专栏 解锁全文 超级会员免费看
从MHA、MQA、GQA到MLA
步子哥的博客
08-18 1432
尤其是在长上下文的情况下，KV Cache的大小会随着输入长度的增加而增长，从而影响了模型的推理速度和资源消耗。通过对MHA、MQA、GQA和MLA的分析，我们可以看到，随着技术的发展，模型设计不断优化，以应对现实应用中的各种挑战。这篇文章详细介绍了从MHA到MLA的演变过程，强调了在推理过程中缓存的重要性，以及如何通过不同的模型设计来减少缓存的需求。，显著降低了显存的占用。在推理阶段，MLA通过共享K和V的方式，将KV Cache的大小保持在合理范围内，从而避免了MHA带来的显存瓶颈。
【LLM】(KV cache优化)MHA、MQA、GQA、MLA、YOCO机制的区别
发现问题，并解决问题，批判性思维
02-16 4320
MHA机制（Multi-head Attention） MHA（Multi-head Attention）是标准的多头注意力机制，包含h个Query、Key 和 Value 矩阵。所有注意力头的 Key 和 Value 矩阵权重不共享 MQA机制（Multi-Query Attention） MQA（Multi-Query Attention，Fast Transformer Decoding: One Write-Head is All You Need）是多查询注意力的一种变体，也是用于自回归解码的一
MHA、MQA、GQA区别和联系
TFATS的博客
09-19 8721
MHA： Multi Head Attention MQA：Multi Query Attention GQA：Grouped Query Attention
【LLM】一文详解MHA、GQA、MQA原理
lyy2017175913的博客
10-19 2894
本文回顾一下MHA、GQA、MQA，详细解读下MHA、GQA、MQA这三种常见注意力机制的原理。图1 MHA、GQA、MQA一览。
一文通透各种注意力：从多头注意力MHA到分组查询注意力GQA、多查询注意力MQA
热门推荐
结构之法 算法之道
11-05 1万+
因此，可以确认：在 MQA 中，除了 query 向量还保存着 8 个头，key 和 value 向量都只剩 1 个「公共头」了，这也正好印证了论文中所说的「所有 head 之间共享一份 key 和 value 的参数」然而，随着上下文窗口或批量大小的增加，多头注意力 (MHA)模型中与 KV 缓存大小相关的内存成本显着增长。对于较大的模型，KV 缓存大小成为瓶颈，键和值投影可以在多个头之间共享，而不会大幅降低性能，可以使用。)，其能够在保证模型效果的同时加快 decoder 生成 token 的速度。
【大模型】MHA，MQA，GQA及KV Cache详解
酒酿小圆子呀～
03-01 2195
在自回归模型中（Autoregressive Models），模型会逐个生成文本的每个token，这个过程可能比较慢，因为模型一次只能生成一个token，而且每次新的预测都依赖于之前的上下文。这意味着，要预测第1000个token，你需要用到前999个token的信息，这通常涉及到对这些token的表示进行一系列矩阵乘法运算。而要预测第1001个token，你不仅需要前999个token的信息，还要加上第1000个token的信息。
深度学习中的注意力机制革命：MHA、MQA、GQA至DeepSeek MLA的演变
Androiddddd的博客
02-24 1418
从MHA到MQA、GQA，再到MLA，注意力机制的演变展示了在效率与性能之间不断优化的轨迹。MLA通过创新的KV缓存压缩和恢复机制，实现了在资源消耗、推理速度和模型性能之间的最佳平衡，为大语言模型的高效部署和应用提供了新的可能性。
【注意力MHA,MQA,GQA,MLA】
一休
08-01 1684
几种不同注意力机制
理解 MHA、GQA、MQA 和 MLA：多头注意力的变种及其应用
lqq
02-25 3580
在深度学习、自然语言处理（NLP）和计算机视觉（CV）中，多头注意力（Multi-Head Attention, MHA）是 Transformer 结构的核心。近年来，MHA 产生了多个变体，如和，这些改进主要用于提高计算效率和减少计算开销。本文将深入探讨这些注意力机制的工作原理、数学公式、优缺点及应用场景，帮助理解Transformer 及其改进版本。
缓存与效果的极限拉扯：从MHA、MQA、GQA到MLA
Paper weekly
05-18 5669
©PaperWeekly 原创 ·作者 | 苏剑林单位 | 科学空间研究方向 | NLP、神经网络前几天，幻方发布的 DeepSeek-V2[1] 引起了大家的热烈讨论。首先，最让人哗然的是 1 块钱 100 万 token 的价格，普遍比现有的各种竞品 API 便宜了两个数量级，以至于有人调侃“这个价格哪怕它输出乱码，我也会认为这个乱码是一种艺术”；其次，从模型的技术报告看，如此便宜的价格背...
chatGLM2中的Multi Query Attention
HUSTHY的博客
07-10 3168
MQA最早是出现在2019年谷歌的一篇论文，之所以没有关注到，是因为之前很少做文本生成，解码序列长度也没有现阶段大模型的要求那么高。MQA的思想其实比较简单(如果对MHA比较熟悉的话)，论文中给出的描述如下：论文的意思是：MQA和MHA除了不同的attention head共享一份keys和values权重之外，其他的都是一样的。
大模型注意力机制的演化：MHA、MQA与GQA
weixin_48222697的博客
06-23 1966
本文系统介绍了Transformer架构中的三种注意力机制变体：多头注意力(MHA)、多查询注意力(MQA)和分组查询注意力(GQA)。MHA每个头独立计算Q/K/V，表现力强但计算成本高；MQA共享K/V，提升推理速度但性能受限；GQA通过分组共享K/V，在性能与效率间取得平衡。文章重点阐述了GQA结合KV缓存(KVCache)的技术原理，该方案可显著降低大模型推理时的显存占用和计算开销，已成为GPT-4等主流大模型的关键优化手段。
AI大模型面经—GQA（Grouped Query Attention）和MHA、MQA的区别及代码
嘴巴吃糖了
09-14 1569
在大模型技术中，GQA（Grouped Query Attention）是一种注意力机制，它介于MHA（Multi-Head Attention）和MQA（Multi-Query Attention）之间，旨在结合两者的优点，以实现在保持MQA推理速度的同时接近MHA的精度 。
MHA、MQA、GQA、MLA
qq_38781359的博客
03-11 2842
方法QK/V计算效率模型容量MHA每个头独立每个头独立低高MQA每个头独立全局共享高低GQA每个头独立组内共享中中MQA适合推理加速（如 LLama-2 70B 使用 MQA）。GQA在保持较高性能的同时减少计算（如 LLama-3 使用 GQA）。MHA适用于对性能要求极高的场景。
注意力机制详解之MHA
suotanyu1595的博客
10-17 1571
在深度学习和自然语言处理领域，注意力机制尤其是Transformer模型中的核心组件。随着研究的深入，出现了多种注意力机制的变体，以适应不同的应用场景和优化性能。MHA（Multi-Head Attention）、MQA（Multi-Query Attention）和GQA（Grouped-Query Attention）是其中的三种重要变体。本文将详细解读这三种机制的原理、区别、优缺点，并探讨它们在不同项目中的应用。
MHA、MQA、GQA注意力机制详解
qq128252的博客
05-11 2775
自回归解码器推理是 Transformer 模型的 一个严重瓶颈，因为在每个解码步骤中加 载解码器权重以及所有注意键和值会产生 内存带宽开销下图为三种注意力机制的结构图和实验结果。
计及风电并网运行的微电网及集群电动汽车综合需求侧响应的优化调度策略研究（Matlab代码实现）
最新发布
01-02
计及风电并网运行的微电网及集群电动汽车综合需求侧响应的优化调度策略研究（Matlab代码实现）内容概要：本文研究了计及风电并网运行的微电网及集群电动汽车综合需求侧响应的优化调度策略，并提供了基于Matlab的代码实现。研究聚焦于在高渗透率可再生能源接入背景下，如何协调微电网内部分布式电源、储能系统与大规模电动汽车充电负荷之间的互动关系，通过引入需求侧响应机制，建立多目标优化调度模型，实现系统运行成本最小化、可再生能源消纳最大化以及电网负荷曲线的削峰填谷。文中详细阐述了风电出力不确定性处理、电动汽车集群充放电行为建模、电价型与激励型需求响应机制设计以及优化求解算法的应用。; 适合人群：具备一定电力系统基础知识和Matlab编程能力的研究生、科研人员及从事新能源、微电网、电动汽车等领域技术研发的工程师。; 使用场景及目标：①用于复现相关硕士论文研究成果，深入理解含高比例风电的微电网优化调度建模方法；②为开展电动汽车参与电网互动（V2G）、需求侧响应等课题提供仿真平台和技术参考；③适用于电力系统优化、能源互联网、综合能源系统等相关领域的教学与科研项目开发。; 阅读建议：建议读者结合文中提供的Matlab代码进行实践操作，重点关注模型构建逻辑与算法实现细节，同时可参考文档中提及的其他相关案例（如储能优化、负荷预测等），以拓宽研究视野并促进交叉创新。
3D表面粗糙度和接触的可视化(Matlab代码实现）
01-02
3D表面粗糙度和接触的可视化(Matlab代码实现）内容概要：本文档主要介绍了一个基于Matlab代码实现的3D表面粗糙度和接触的可视化方法，旨在通过数值模拟与图形化手段展示材料表面微观形貌及其接触行为。该资源聚焦于表面粗糙度建模、接触力学分析及三维可视化技术，利用Matlab强大的计算与绘图功能，帮助用户直观理解表面结构特征与接触性能之间的关系。文中可能包含表面高度分布生成、粗糙度参数计算、接触面积与压力分布仿真等内容，并提供完整的代码实现流程。; 适合人群：具备一定Matlab编程基础，从事机械工程、材料科学、摩擦学或相关领域研究的研究生、科研人员及工程师。; 使用场景及目标：①用于科研教学中演示表面粗糙度对接触特性的影响；②支持学术论文中的数据可视化需求；③为接触力学仿真项目提供基础代码参考与开发思路；④促进对表面形貌建模与多尺度接触分析的理解与应用。; 阅读建议：建议读者结合文档提供的Matlab代码逐段运行与调试，配合相关理论学习，深入掌握每一步的算法原理与实现细节，同时可尝试修改参数或扩展功能以适应自身研究需求。
MHA、MQA
03-14
### MHA与MQA的区别及应用场景 #### 多头注意力（MHA） 多头注意力（Multi-Head Attention, MHA）是一种经典的注意力机制，其核心思想是通过多个并行的注意力层来捕获输入序列的不同子空间特征[^3]。具体来说： - **工作原理** 在 MHA 中，Query (Q)、Key (K) 和 Value (V) 都会经过独立的线性变换，生成多个“头”（Heads）。每个头分别计算自己的注意力权重，并最终将这些头的结果拼接起来并通过另一个线性投影得到输出。 - **优点** - 能够捕捉更加多样化的上下文关系。 - 提供更高的表达能力，适合复杂的建模需求。 - **缺点** - 参数量较大，尤其是在长序列场景下，内存消耗显著增加。 - 计算成本较高，可能不适合资源受限环境下的高效部署。 #### 多查询注意力（MQA） 多查询注意力（Multi-Query Attention, MQA）可以视为 MHA 的简化版本，在某些特定条件下能够大幅降低计算开销[^4]。以下是它的主要特性： - **工作原理** 不同于 MHA 中每个 Query 对应一组独立的 Key 和 Value 投影矩阵，MQA 将所有的 Query 共享同一个 Key 和 Value 矩阵 \( K_{\text{shared}}, V_{\text{shared}} \)。这意味着无论有多少个 Query “头”，它们都基于相同的 Key 和 Value 进行计算。 - **优点** - 显著减少参数数量和存储需求，特别是在大规模推理任务中表现出色。 - 更加高效的计算流程，特别适用于实时性和低延迟要求较高的场合。 - **缺点** - 表达能力和灵活性较弱，无法像 MHA 那样充分挖掘数据中的多样化模式。 - 性能在一些复杂任务上的表现可能会有所下降。 #### 应用场景对比 - **MHA的应用场景**: 当前主流的大规模预训练模型如 BERT 或 T5 均采用标准形式的 MHA 结构。这类结构非常适合需要高度精确表示的任务，比如自然语言理解和机器翻译等。 - **MQA的应用场景**: 主要集中在对速度敏感或者硬件资源有限的情况下，例如在线聊天机器人服务（如 ChatGPT 解码阶段）、移动设备端轻量化模型以及边缘计算领域内的各种应用。 ```python # 示例代码展示两种方法的主要差异 import torch from torch import nn class MHAttention(nn.Module): def __init__(self, d_model=512, num_heads=8): super(MHAttention, self).__init__() assert d_model % num_heads == 0 self.d_k = d_model // num_heads self.num_heads = num_heads # 定义三个全连接层用于 QKV 投射 self.W_q = nn.Linear(d_model, d_model) self.W_k = nn.Linear(d_model, d_model) self.W_v = nn.Linear(d_model, d_model) def forward(self, q, k, v): batch_size = q.size(0) # 投射操作 q = self.W_q(q).view(batch_size, -1, self.num_heads, self.d_k).transpose(1, 2) k = self.W_k(k).view(batch_size, -1, self.num_heads, self.d_k).transpose(1, 2) v = self.W_v(v).view(batch_size, -1, self.num_heads, self.d_k).transpose(1, 2) scores = torch.matmul(q, k.transpose(-2, -1)) / math.sqrt(self.d_k) attn_weights = F.softmax(scores, dim=-1) output = torch.matmul(attn_weights, v) return output.transpose(1, 2).contiguous().view(batch_size, -1, self.num_heads * self.d_k) class MQAttention(nn.Module): def __init__(self, d_model=512, num_heads=8): super(MQAttention, self).__init__() self.d_k = d_model // num_heads self.num_heads = num_heads # 只定义单个 KV 投射层 self.W_q = nn.Linear(d_model, d_model) self.shared_W_k = nn.Linear(d_model, self.d_k) self.shared_W_v = nn.Linear(d_model, self.d_k) def forward(self, q, k, v): batch_size = q.size(0) # 查询投射保持不变 q = self.W_q(q).view(batch_size, -1, self.num_heads, self.d_k).transpose(1, 2) # 使用共享的键值向量 shared_k = self.shared_W_k(k) shared_v = self.shared_W_v(v) scores = torch.matmul(q, shared_k.unsqueeze(1)).squeeze() / math.sqrt(self.d_k) attn_weights = F.softmax(scores, dim=-1) output = torch.matmul(attn_weights.unsqueeze(1), shared_v.unsqueeze(1)).squeeze() return output.view(batch_size, -1, self.num_heads * self.d_k) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

comli_cn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值