为什么KV Cache只有KV，没有Q

原创 已于 2024-08-06 15:22:22 修改 · 1.1k 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#缓存 #矩阵 #线性代数 #transformer

于 2024-08-06 15:21:41 首次发布

大家都知道大模型是通过语言序列预测下一个词的概率。假定 x1,x2,x3,...,xn−1{ x_1, x_2, x_3, ..., x_{n-1} }x1​,x2​,x3​,...,xn−1​ 为已知序列，其中 x1x_1x1​, x2x_2x2​, x3x_3x3​, …, xn−1x_{n-1}xn−1​ 均为维度是 dmodeld_{model}dmodel​ 的向量，qnq_nqn​, knk_nkn​, vnv_nvn​ 同为向量。当输入 xnx_n

最低0.47元/天 解锁文章

200万优质内容无限畅学
LLM推理和优化（2）：节省KV Cache
智能守恒_HengAI
03-14 484
另外MLA的最终版本，还将Q的输入也改为了低秩投影形式，这与减少KV Cache无关，主要是为了减少训练期间参数量和相应的梯度（原论文说的是激活值，个人表示不大理解）所占的显存，这里不再展开。，而MLA的这个做法，通过不同的投影矩阵再次让所有的K、V Head都变得各不相同，那么KV Cache的大小就恢复成跟MHA一样大了，违背了GQA的初衷。然而，理论上这样是能增加模型能力，但别忘了GQA的主要目的是减少KV Cache，出于节省计算和通信成本的考虑，我们一般会缓存的是投影后的。
为什么KV Cache只需缓存K矩阵和V矩阵，无需缓存Q矩阵？
qq_35054222的博客
07-08 3268
注意力矩阵在训练推理过程中，为了模拟真实推理场景，当前位置token是看不到下一位置的，且只能看到上一位置以及前面序列的信息，所以在训练推理的时候加了。推导没有错，也没有Q矩阵缓存。不是说好的只有KV缓存，没有Q矩阵缓存？大家都知道大模型是通过语言序列预测下一个词的概率。，这样方便softmax的时候置为0。，注意力的计算（见注意力矩阵最下面一行）与。另外，还有个V矩阵，参照图1就干了一件事。，并在实际计算中不再需要重复计算。，计算的时候从缓存中取即可，这是。在具体实现过程中，输入。，直接从缓存中取即可。
为啥大模型一般将kv进行缓存，而q不需要
jzwei023的博客
05-09 1121
大模型一般将kv进行缓存，而q不需要
「大模型学习」(11)kv cache与vllm详解，一文读懂！
最新发布
qq_43044037的博客
06-16 1785
Key（键）：表示上下文的特征。Value（值）：表示上下文的内容。Query（查询）：表示当前 token 的查询向量。AttentionQKVsoftmaxQKTdkVAttentionQKVsoftmaxdk​​QKT​V），每次生成一个新 token（比如下一个词），模型会再次查看之前的所有K和V，以计算当前 token 的注意力。问题：每次都重新计算之前的 K/V 很浪费！项目维度（简化）含义Q当前 token 的查询向量。
为什么Transformer推理要做KV缓存？
dsxaigc的博客
09-03 2028
从面试官的视角，来拆解这个Transformer的面试连环炮
为什么LLM推理加速有KV Cache而没有Q Cache？
u012374012的专栏
07-30 1981
在没有Causal Mask时，计算t位置的Attention需要未来的KV，这在实际进行自回归推理时无法得到；在序列的t位置，Q只有当前位置的 𝑞𝑡q_t 参与了计算，而K和V多个位置参与了计算，所以需要KV Cache，而不需要Q Cache。但是每次都要用到当前和过去所有的KV，这次用到的KV下次马上就要再用一次，所以Cache KV可以加速推理。直到这一步，K和Q看上去都很对称。无论有没有Causal Mask，Q和K在结果中都是不对称的。，这次用的Q下次不会用到，所以不用Cache Q；
TensorFlow相关组件的安装
AAI666666的博客
01-11 2929
TensorFlow相关组件的安装
使用 ollama 部署本地模型，零基础入门到精通，非常详细收藏我这一篇就够了
m0_65555479的博客
08-15 3011
在本地启动并运行大型语言模型。运行Llama 2，Code Llama和其他模型。自定义并创建您自己的。
kv-cache
03-13
KV快取 内存KV存储中的线程安全异步 注意事项 首先，我可能会建议使用现有的解决方案。 诸如memcached ， redis ， FASTER ， Masstree类的东西投入了大量的工程时间。如果由于某种原因这些解决方案不起作用，并且需要重量更轻的解决方案，那么这可以起作用。 有关此实现的更详细说明，请参见“ Design部分，但它的核心是在Hashmap上使用Read Write锁来提供线程安全性。 还有一些其他的优化措施，它们不需要完全的写锁来进行更新，但是最后仍然需要对插入和删除进行锁。 如果这是性能瓶颈，并且您仍然不想使用预先存在的解决方案，则可以执行以下一些优化： 实现无锁哈希表。 这可以用原子来完成，但是要正确就可能很棘手，并增加了解决方案的复杂性。 同样，使用原子还有额外的开销，但是如果您需要这种优化，那么性能收益肯定会超过开销。 另外，锈可以使用几个无锁地图。
NLP高频面试题（十七）——什么是KV Cache
WeLearnNLP
03-26 1127
KV Cache，全称为 Key-Value Cache，是在Transformer模型推理过程中，为减少重复计算、降低内存开销而设计的一种缓存机制。Transformer 模型中，每生成一个新词（token）时，都需要计算该词与前面所有词之间的注意力（attention）。注意力计算涉及 Query(Q)、Key(K) 和 Value(V) 三个张量，其中Key 和 Value 对于已生成的 token 是不变的，只有 Query 会随每次生成而更新。
KV Cache量化技术详解：深入理解LLM推理性能优化
FrenzyTechAI的博客
12-09 4777
在探讨KV Cache 量化技术之前，我们先来深入理解LLM推理过程中的一个关键性能瓶颈。当前，在部署大语言模型时普遍面临着一个棘手的挑战：即便是配备16GB显存的GPU，在处理长文本时也经常会遇到OOM（Out of Memory）问题。这一问题的根源在于注意力机制的工作原理。在 Transformer 架构中，模型需要在推理过程中持续缓存注意力计算的中间状态（即Key和Value），这些状态被存储在KV Cache中。
kvcache:在Android开发中优雅的访问keyvalue数据，从此不用再写SharedPreferencecode。此库是一个工具，可帮助您以更好的方式在Andrtoid开发中设置和获取键-vlue数据。
03-13
kvcache 关于kvcache 该库是一种工具，可帮助您以更好的方式在Andrtoid开发中设置和获取键-粘胶数据。 从现在开始，将您的sharedpreference代码和其他键值代码更改为kvcache ，并编写漂亮的代码。 如何使用 第1/2/3步是初始化kvcache，仅在需要添加键值数据时才需要修改接口KV。（第4步）和 步骤1.将其添加到存储库末尾的root build.gradle中： allprojects { repositories { ... maven { url 'https://jitpack.io' } } } 步骤2.添加依赖项 dependencies { implementation 'com.github.mazouri:kvcache:1.1' } 步骤3.在您的Application类中初始化KVCache p
【Attention】KV Cache
麦格芬230的博客
01-29 335
定义：KV Cache 即 Key-Value Cache，是用于加速 Transformer 模型推理长序列过程的一种技术。核心原理：在 Transformer 的自注意力机制中，将历史输入 token 中的 Key 和 Value 缓存下来，避免每一步生成都重新计算历史 token 的 Key、Value 以及注意力表示，从而提高推理效率。
【笔记】KV-cache
m0_53162279的博客
11-01 1307
Transformer原理讲解。
Transformer推理加速方法-KV缓存(KV Cache)
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
07-12 5090
可以进行缓存后续复用；在Decoder中推理过程中，同样可以缓存计算出来的。在推理进程中与训练不同，推理进行时上下文输入Encoder后计算出来的。所以这里Decoder每次计算出来一组新的。向量都跟之前向量一起进行缓存，后续也可以重复复用。并进行缓存，后续推理都不用再计算了；，但计算Decoder过程中需要之前时刻。减少重复计算，这里注意在输入是。时刻通过输入的一个词计算出来。是固定不变的，对于这里的。计算时，输入仍需要前面。是Encoder，在。
大模型推理--KV Cache
姚光超的专栏
09-08 2516
KV Cache是大模型推理中常用到的一个技巧，可以减少重复计算，加快推理速度。不少人只是从概念上知道它可以减少重复计算，详细的原理则知之甚少，此外为啥只有KV Cache而没有Q Cache呢，我们在本博客中给出详尽的解释。
什么是 KV Cache（Key-Value Cache）
彬彬侠的博客
04-21 3266
KV Cache（Key-Value Cache）是大模型（特别是Transformer架构）在推理过程中常用的一种优化技术，主要用于加速自回归生成任务（如文本生成）中的计算效率。它通过缓存中间计算结果（键和值的张量），避免重复计算，从而显著降低推理的计算量和延迟。
为什么大模型计算的时候只会利用KVcache来存放KV矩阵，Q矩阵每次不一样？
大模型天花板
10-24 3086
总之，KV Cache是一种用于提高Transformer架构的推理效率的技术，通过缓存K和V矩阵，从而避免不必要的计算，但由于Q矩阵通常不稳定，因此不会被缓存。KV Cache的思想是，对于K和V矩阵，由于它们相对稳定，可以在不同时间步骤缓存它们，这样，对于相同的输入，您不需要重新计算K和V矩阵，而可以重复使用它们。在Transformer中，自注意力机制的操作包括Q（Query）、K（Key）和V（Value）的计算。相反，Q矩阵是依赖于输入的，因此每次都不同，无法进行缓存，因此Q矩阵通常不被缓存。
大模型推理优化技术-KV Cache
2401_84494441的博客
06-10 2807
KV Cache 是大模型推理性能优化的一个常用技术，该技术可以在不影响任何计算精度的前提下，通过空间换时间的思想，提高推理性能。本文简要分析了 KV Cache 原理、源码以及计算量和显存占用，这是一种典型的通过空间换时间（计算）的技术，虽然并不复杂，但是现在基本上是仅编码器Transformer架构生成大语言模型必备优化技术。
KV Cache为什么不存q
01-07
### KV 缓存为何不存储查询向量 Q 在多头注意力机制（Multi-Head Attention, MHA）中，KV缓存主要用于存储键（K）和值（V），而不存储查询（Q）。这一设计决策背后的原因在于优化性能和减少内存占用。 当仔细观察时会发现，只需要减少键和值头部的数量，而查询头部数量不会影响KV缓存大小。这正是多查询注意（MQA）和分组查询注意（GQA）架构的核心理念[^2]。这些变体的主要动机是为了减小KV缓存的尺寸。 具体来说，在每次推理过程中，查询（Q）是由当前输入动态生成的，并且只用于一次前向传播过程。相比之下，键（K）和值（V）可以在多个时间步之间共享并重复利用。因此，没有必要将查询（Q）保存到缓存中，因为这样做不仅浪费空间，而且增加了不必要的复杂度。 为了更直观地理解这一点，可以考虑如下代码片段展示了一个简化版的Transformer模型中的自注意力层： ```python import torch.nn.functional as F class SelfAttention(nn.Module): def __init__(self, embed_size, heads): super(SelfAttention, self).__init__() self.embed_size = embed_size self.heads = heads # 定义线性变换矩阵W_Q, W_K, W_V self.values = nn.Linear(self.embed_size, self.embed_size, bias=False) self.keys = nn.Linear(self.embed_size, self.embed_size, bias=False) self.queries = nn.Linear(self.embed_size, self.embed_size, bias=False) def forward(self, query, key, value): N = query.shape[0] # 对query、key、value应用各自的线性变换 values = self.values(value) keys = self.keys(key) queries = self.queries(query) # 计算注意力分数... energy = F.softmax(torch.bmm(queries, keys.transpose(1, 2)) / (self.embed_size ** (1/2)), dim=2) out = torch.bmm(energy, values).reshape(N, -1, self.embed_size) return out ``` 在这个例子中，`keys` 和 `values` 可以被缓存下来供后续使用，但是 `queries` 是针对每一次新的输入单独计算出来的，不需要也不应该被缓存。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值