为什么Transformer推理要做KV缓存？

我是丁师兄，专注于智能驾驶方向大模型落地，公众号：丁师兄大模型。

大模型1v1学习，已帮助多名同学上岸国内外大厂

---

前几天有个网友偷偷给我发私信，那叫一个信心满满地冲向阿里面试大模型岗位，结果悲催了，铩羽而归。到底是哪里出了岔子呢？

这篇文章，我们就从面试官的视角，来拆解这个 Transformer 的面试连环炮。如果是你在面试现场被这些问题 “轰炸”，到底该咋回答呢？嘿嘿，一起看看吧！

01为什么Transformer推理要做KV缓存？

面试官心理分析

第一个问题一般都是先热热身，面试官问这个呢，其实是想看看，你知不知道 Transformer 的一个最基本的工作原理。

面试题解析

因为在 Transformer 中文本是逐个 token 生成的，每次新的预测，会基于之前生成的所有 token 的上下文信息。

这种对顺序数据的依赖会减慢生成过程，因为每次预测下一个 token，都需要重新处理序列中所有之前的 token。

举个例子，如果我们要预测第 100 个 token，那模型必须使用前面 99 个 token 的信息，这就需要对这些 token 进行矩阵运算，而这个矩阵运算是非常复杂和耗时的。

因此 KV 缓存就是为了减少这种耗时的矩阵运算，在 Transformer 推理过程中，会将这些键和值存储在缓存中，这样模型就可以在生成后续 token 的时候，直接访问缓存，而不需要重新计算。

02KV 缓存的工作机制的什么样的？

OK，那既然你知道 KV 缓存是为了减少生成 token 时的矩阵运算，那它具体是怎么减小的？讲讲 KV 缓存的工作机制。

这个时候，你最好能结合画图讲出来，会很清晰。干讲很多东西讲不清楚，几张图就能说明