大模型(LLM)推理优化技术详解（一）什么是LLM推理？-优快云博客

本文链接：https://blog.youkuaiyun.com/Code1994/article/details/148892797

大模型训练成本很高，且在推理过程中需要大量的计算资源，为了能够实现大模型应用落地，需解决大模型推理成本、模型响应速度等问题，这就需要对大模型进行推理优化。为此，本文将详细介绍主流的大模型推理优化技术。

1. 什么是LLM推理

大多数流行的only-decode LLM（例如 GPT-4、Qwen系列）都是针对因果建模目标进行预训练的，本质上是作为下一个词预测器。「这些 LLM 将一系列tokens作为输入，并自回归生成后续tokens，直到满足停止条件」（例如，生成tokens数量的限制或遇到停止词）或直到生成特殊的 <end> 标记生成结束的tokens。该过程涉及两个阶段：预填充阶段和解码阶段。

请注意，tokens是模型处理的语言的原子部分。一个tokens大约是四个英文字符。所有自然语言在输入模型之前都会转换为tokens。下图是大模型推理过程。

在这里插入图片描述

1.1 预填充阶段（Prefill）

在预填充阶段，也可以理解为输入阶段。LLM处理输入token以计算中间状态（keys和value），用于生成“第一个”token。每个新的token都依赖于所有先前的token，但由于输入的全部已知，因此在运算上，都是高度并行化矩阵运算，可以有效地使用GPU。

1.2 解码阶段（Decode）

在解码阶段，可以理解为输出阶段。LLM一次自回归生成一个输出token，直到满足停止条件。「每个输出tokens都需要直到之前迭代的所有输出状态（keys和values）」。这与预填充输入处理相比，就像矩阵向量运算未充分利用GPU计算能力。数据（weights, keys, values, activations）从内存传输到GPU的速度决定了延迟，而不是计算实际时间消耗。即，这是一个内存限制操作。

本文中的许多推理挑战和相应的解决方案都涉及此解码阶段的优化：高效的注意力模块、有效管理键和值等。

不同的LLMs可能使用不同的tokenizers，因此比较它们之间的输出tokens可能并不简单。在比较推理吞吐量时，即使两个 LLMs每秒输出的tokens相似，如果它们使用不同的tokenizers，也可能不相等。这是因为相应的tokens可能代表不同数量的字符。

1.3 批处理（Batching）

提高 GPU 利用率和有效吞吐量的最简单方法是通过批处理。由于多个请求使用相同的模型，因此权重的内存成本被分散。「大批量数据传输到 GPU 一次处理，将提高GPU资源的利用率。然而，批量大小只能增加到一定限制，此时可能会导致内存溢出」。为了防止这种情况发生，需要查看键值 (KV) 缓存和 LLM 内存要求。

传统批处理（也称为静态批处理， static batching）不是最佳的。这是因为对于批次中的每个请求，LLM 可能会生成不同数量的tokens，并且不同tokens有不同的执行时间。因此，批次中的所有请求都必须等待最长token的处理完成，而生成长度的巨大差异可能会加剧这种情况。有一些方法可以缓解这种情况，例如稍动态批处理。

1.4 KV缓存

解码阶段的一种常见优化是 KV 缓存。解码阶段在每个时间步生成单个token，但每个token依赖于之前token的键和值张量（包括预填充时计算的输入tokens的 KV 张量，以及当前时间步之前计算的任何新 KV 张量）。

「为了避免在每个时间步重新计算所有tokens的这些张量，可以将它们缓存在 GPU 内存中」。每次迭代，当需要计算新token时，它们都会被添加到正在运行的缓存中，以便在下一次迭代中使用。在一些实现中，模型的每一层都有一个KV缓存。下图展示了KV的缓存机制。

在这里插入图片描述

1.5 大模型内存需求

实际上，LLM对GPU显存的需求主要是模型权重和KV缓存：

「模型权重」：模型参数占用内存。例如，具有 70 亿个参数的模型（例如 Llama 2-7B ），以 16 位精度（FP16 或 BF16）加载，将占用大约 7B * sizeof(FP16) ~= 14 GB 的内存。
「KV缓存」：自注意力张量的缓存占用内存，避免冗余计算。

使用批处理时，批处理中每个请求的 KV 缓存仍然必须单独分配，并且可能会占用大量内存。下面的公式描述了 KV 缓存的大小，适用于当今最常见的 LLM 架构。

每个Token KV缓存（字节）=2 * (num_layers) * (num_heads * dim_head) * precision_in_bytes

第一个因子 2 代表 K 和 V 矩阵。通常，(num_heads * dim_head)的值与Transformer的hidden_size（或模型的维度，d_model）相同。这些模型属性通常可以在配置文件中找到。

输入批次中输入序列中的每个tokens都需要此内存大小。假设半精度，KV缓存的总大小由以下公式给出:

总的Token KV缓存（字节）= (batch_size) * (sequence_length) * 2 * (num_layers) * (hidden_size) * sizeof(FP16)

例如，对于 16 位精度的 Llama 2-7B 模型，批量大小为 1，KV 缓存的大小将为 1 * 4096 * 2 * 32 * 4096 * 2 字节，即约 2 GB。

可以发现Llama 2-7B本身模型权重占用为14G，单个输入序列长度4096需要缓存为2G，这就需要16GB的显存，要运行该模型可见单个显存的要求。为此如何高效的管理 KV 缓存就成为了一项重要的挑战。内存需求随着批量大小和序列长度线性增长，它限制了可服务的吞吐量，并对长上下文输入提出了挑战。这就是本文中介绍的多项优化背后的动机。