MHA(Multi-Head Attention) 与GQA(Grouped Query Attention)的区别

已于 2024-11-01 11:03:16 修改
阅读量1k 收藏 19
点赞数 31
文章标签： 人工智能 自然语言处理
于 2024-10-31 20:26:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/2301_79093491/article/details/143415613
版权

引言

       Grouped Query Attention(GQA，分组查询注意力)和多头注意力机制(Multi-Head Attention，MHA)都是Transformer模型中用于捕获输入序列中不同位置之间关系的注意力机制。然而，它们在实现方式和计算复杂度上有所不同。下面我将详细介绍它们的原理以及它们之间的区别。

1. 多头注意力机制（MHA）

1.1 概念

       多头注意力机制（Multi-Head Attention，MHA）是Transformer模型中的核心组件。它通过并行的多组注意力机制，让模型能够在不同的子空间中关注序列的不同方面，从而加强模型的表达能力。

1.2 工作原理

       输入表示：给定输入序列 X ∈ R n × d model \mathbf{X} \in \mathbb{R}^{n \times d_{\text{model}}} X∈Rn×dmodel​， n n n是序列长度， d model d_{\text{model}} dmodel​是隐藏维度。

       线性投影：通过线性变换将输入 X \mathbf{X} X映射为查询（ Q \mathbf{Q} Q）、键（ K \mathbf{K} K）和值（ V \mathbf{V} V）：

Q = X W Q , K = X W K , V = X W V \mathbf{Q} = \mathbf{X}\mathbf{W}_Q, \quad \mathbf{K} = \mathbf{X}\mathbf{W}_K, \quad \mathbf{V} = \mathbf{X}\mathbf{W}_V Q=XWQ​,K=XWK​,V

最低0.47元/天 解锁文章
菠萝哥~
关注
大模型面经—GQA（Grouped Query Attention）和MHA、MQA的区别及代码
强化学习曾小健
07-08 2244
此外，GQA的实现并不复杂，可以通过对现有MHA模型进行少量的训练调整来实现，这使得从MHA到GQA的过渡相对容易。在大模型技术中，GQA（Grouped Query Attention）是一种注意力机制，它介于。之间进行插值，旨在实现更快的推理速度和接近MHA的模型质量，是高负载系统优化的有力工具。，最终将结果合并，以捕获序列的不同方面信息。具体来说，GQA通过分组的方式，减少了需要。的数量，从而减少了内存的使用，同时由于。2024年07月07日 10:43。）之间，旨在结合两者的优点，
[论文翻译]GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints
日积月累，天道酬勤
04-13 1014
⭐ 本篇工作提出分组查询注意力，简单来说就是在MQA的基础上增加了key-value头的数量，经过实验证明取得了不错的效果。
【LLM】一文详解MHA、GQA、MQA原理
lyy2017175913的博客
10-19 2464
本文回顾一下MHA、GQA、MQA，详细解读下MHA、GQA、MQA这三种常见注意力机制的原理。图1 MHA、GQA、MQA一览。
大模型学习笔记------Llama 3模型架构之分组查询注意力（GQA）
最新发布
gz7seven
04-22 927
本文主要介绍分组查询注意力（Group Query Attention，GQA），并且同时介绍了多头注意力（MHA）和多查询注意力（MQA），并对比了三种注意力机制。
大模型学习-GQA、MQA、MHA
fj1024的博客
07-16 750
而每个注意力头都有自己的感知域，可以独立学习输入中的不同特性。事实上，不同的”头“可以分别专注于词序列的不同方面，语义、语法。从 MHA 到 MQA 将 H 键和值头减少到单个键和值头，减少了键值缓存的大小，因此需要加载的数据量 H 倍。MQA是MHA的变体，不同的是MQA让所有的头之间共享同一份Key和Value矩阵，每个头只单独保留一份query参数，从而大大减少了Key和Value矩阵的参数量，以此达到提升推理速度，但是会带来精度的损失。注意力机制的核心概念在于把不同的重要性赋予输入的不同部分。
MHA、MQA、GQA区别和联系
TFATS的博客
09-19 6812
MHA： Multi Head Attention MQA：Multi Query Attention GQA：Grouped Query Attention
MHA
xpiou
01-31 523
http://www.cnblogs.com/gomysql/p/3675429.html 环境准备 server 1 mha4mysql-manager-0.56-0.el6.noarch.rpm mha4mysql-node-0.56-0.el6.noarch.rpm perl-Config-Tiny-2.12-7.1.el6.noarch.rpm perl-Email-Date-
Grouped-query Attention(GQA)、Multi-query Attention(MQA)、Multi-Head Latent Attention (MLA)
taoqick的专栏
02-12 965
Grouped-query attention an interpolation of multi-query and multi-head attention that achieves quality close to multi-head at comparable speed to multi-query attention.
DeepSeek中用到的Grouped-Query Attention技术是什么来头？
学习与分享人工智能技术
02-07 925
本文详细介绍了Grouped-Query Attention的概念、原理以及python实现。
几种不同的self-attention
qq_29787929的博客
02-13 601
在进行大模型的训练和推理中会大量的使用self-attention，在显存中需要保存self-attention中的query、key和value矩阵。Multi-head attention中每个头都有对应的query、key和value矩阵，因此会占用大量显存。grouped-query attention通过分组的方式，同一个组内共用一个key和value矩阵，当分组数与头数相同时即为Multi-head attention，当分组数为1时则为Multi-query attention。
MHA——0.56
04-08
MYSQL的MHA_0.56版本，验证使用没有问题的，放心安装。
注意力机制——Multi-Head Attention（MHA）
热门推荐
weixin_50752408的博客
03-16 1万+
对于一个给定的查询向量，MHA 会对键向量进行加权求和，权重由查询向量和键向量之间的相似度计算得到，然后将得到的加权和乘以值向量进行输出。在多头机制下，输入的序列数据会被分成多个头，每个头进行独立的计算，得到不同的输出。其中 Q, K, V 分别表示查询向量、键向量和值向量，ℎ 表示头的数量，headi​ 表示第 i 个头的输出，WO 是输出变换矩阵。其中 dk​ 是键向量的维度，softmax相似度进行归一化，将每个键向量的权重计算出来，然后将权重乘以值向量，最后进行加权求和得到注意力输出。
深度学习代码|Multi-Headed Attention (MHA)多头注意力机制的代码实现
weixin_47748259的博客
02-09 5285
定义多头自注意力机制中的线性变换操作（在自注意力机制中，需要将输入的特征向量通过线性变换映射到不同的空间中，以便进行多头注意力的计算。将向量拆分为给定数量的头部，以获得多头注意。'''d_model：模型输入的特征维度；heads：注意力机制中的头数；d_k：每个头部中以向量表示的维度数；bias：是否使用偏置项'''#线性变换的线性层，输入为d_model，输出为heads*d_k'''
从MHA、MQA、GQA到MLA
ylzf2008的博客
02-12 219
从MHA、MQA、GQA到MLA
理解 MHA、GQA、MQA 和 MLA：多头注意力的变种及其应用
lqq
02-25 2411
在深度学习、自然语言处理（NLP）和计算机视觉（CV）中，多头注意力（Multi-Head Attention, MHA）是 Transformer 结构的核心。近年来，MHA 产生了多个变体，如和，这些改进主要用于提高计算效率和减少计算开销。本文将深入探讨这些注意力机制的工作原理、数学公式、优缺点及应用场景，帮助理解Transformer 及其改进版本。
MHA介绍
看，未来的博客
01-17 1924
文章目录MHA是什么？工作流程 MHA是什么？ MHA（Master HighAvailability）是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中，MHA能做到在10~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的过程中，MHA能在最大程度上保证数据的一致性，以达到真正意义上的高可用。 当master出现故障时，它可以自动将最新数据的slave提升为新的master，然后将所有其他的slave重新指向新的master。整个故障转移过程对应
MHA问题
weixin_30675247的博客
05-10 249
#解决办法: vim /etc/my.cnf[mysqld]#mysql5.6skip-name-resolveskip-name-resolv#mysql5.7skip_name_resolve /etc/init.d/mysqld restart #碰到这个问题,是因为创建私钥公钥的问题, 解决办法: [root@node1 .ssh]# cd /root/.ssh/...
MHA，GQA，MLA
02-13
### MHA、GQA 和 MLA 的区别及应用场合 #### 多头注意力机制（Multi-Head Attention, MHA） 多头注意力机制允许模型在不同的表示子空间中并行关注不同位置的信息。每个头独立操作，最终结果通过拼接各头的结果来获得更丰富的特征表达[^1]。 ```python import torch.nn as nn class MultiHeadAttention(nn.Module): def __init__(self, embed_size, num_heads): super(MultiHeadAttention, self).__init__() self.embed_size = embed_size self.num_heads = num_heads # 定义线性变换层 self.query_linear = nn.Linear(embed_size, embed_size) self.key_linear = nn.Linear(embed_size, embed_size) self.value_linear = nn.Linear(embed_size, embed_size) def forward(self, query, key, value): batch_size = query.size(0) # 对输入进行线性变换 Q = self.query_linear(query) K = self.key_linear(key) V = self.value_linear(value) # 将嵌入维度分割成多个头 Q = Q.view(batch_size, -1, self.num_heads, self.embed_size // self.num_heads).transpose(1, 2) K = K.view(batch_size, -1, self.num_heads, self.embed_size // self.num_heads).transpose(1, 2) V = V.view(batch_size, -1, self.num_heads, self.embed_size // self.num_heads).transpose(1, 2) # 计算注意力分数并加权求和 scores = torch.matmul(Q, K.transpose(-2, -1)) / (self.embed_size ** 0.5) attention_weights = F.softmax(scores, dim=-1) output = torch.matmul(attention_weights, V) # 合并头部并将结果传递给下一个线性层 output = output.transpose(1, 2).contiguous().view(batch_size, -1, self.embed_size) return output ``` #### 组化查询注意力机制（Grouped Query Attention, GQA） 为了减少计算量，GQA引入了查询分组的概念，即某些查询可以共享相同的键和值矩阵。这减少了重复计算的数量，在大规模数据集上尤其有效[^3]。 ```python class GroupedQueryAttention(nn.Module): def __init__(self, embed_size, num_groups, heads_per_group): super(GroupedQueryAttention, self).__init__() self.embed_size = embed_size self.num_groups = num_groups self.heads_per_group = heads_per_group # 初始化参数... def forward(self, queries, keys, values): # 实现GQA的具体逻辑... pass ``` #### 压缩键值注意力机制（Compressed Key/Value Attention, MLA） MLA进一步优化了资源利用效率，通过对键和值向量实施低秩近似压缩处理，从而显著降低了存储开销以及前向传播过程中的运算复杂度。 $$K_{\text{compressed}} = U_K \cdot S_K \cdot V_K^T$$ $$V_{\text{compressed}} = U_V \cdot S_V \cdot V_V^T$$ ```python from scipy.linalg import svd def compress_matrix(matrix, rank): u, s, vh = svd(matrix) compressed = np.dot(u[:, :rank], np.dot(np.diag(s[:rank]), vh[:rank, :])) return compressed class CompressedKeyValueAttention(nn.Module): def __init__(self, embed_size, compression_rank): super(CompressedKeyValueAttention, self).__init__() self.compress_key = lambda k: compress_matrix(k, compression_rank) self.compress_value = lambda v: compress_matrix(v, compression_rank) # 其他初始化... def forward(self, queries, keys, values): compressed_keys = self.compress_key(keys) compressed_values = self.compress_value(values) # 使用压缩后的keys和values继续执行标准的注意力机制... pass ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值