vLLM 背后的架构：PagedAttention 如何提升内存利用率

在大语言模型（LLM）应用日益普及的今天，模型部署的成本与效率问题逐渐成为行业痛点。以 LLaMA 4 为代表的大型模型，不仅计算开销高昂，更受限于内存利用效率低下，导致单次请求成本可达传统搜索查询的 10 倍。其中，负责存储对话上下文的 KV 缓存（Key-Value Cache）是核心瓶颈——它虽需占用 GPU 内存的 30%，但现有系统因分配策略不合理，竟会浪费其中 60%-80% 的空间。

本文将深入解析 vLLM 框架的核心技术 PagedAttention（分页注意力机制）：它如何借鉴操作系统的内存管理思想，打破传统 KV 缓存的效率困局，最终实现内存利用率与推理吞吐量的双重突破。

一、先搞懂：为什么 KV 缓存是内存“吞金兽”？

要理解 PagedAttention 的价值，首先需要明确 LLM 推理中 KV 缓存的作用，以及传统内存管理为何会造成巨大浪费。

1.1 什么是 KV 缓存？

LLM 生成文本时，会以“token（词元，即单词或单词片段）”为单位逐次处理。每次生成新 token，模型都需要通过“注意力机制”回顾对话历史中的所有 token——这个过程中，“键（Key）”用于计算注意力权重，“值（Value）”用于生成上下文关联的输出。

如果没有 KV 缓存，生成 100 个 token 的响应需要重复计算 100 次历史 token 的注意力，效率极低；而 KV 缓存的作用，就是将首次计算的 Key 和 Value 存储起来，后续生成新 token 时直接复用，大幅减少重复计算，是 LLM 实现快速推理的关键组件。

1.2 传统 KV 缓存的“