第6章：推理性能优化技术

大模型推理的性能直接影响用户体验和运营成本。即使在私有化部署的背景下，如何最大限度地榨取硬件性能，提升吞吐量、降低延迟，依然是核心挑战。本章将深入解析当前主流的大模型推理优化技术，包括 PagedAttention 和 FlashAttention 的原理，以及如何在 vLLM 中进行部署调优，并简要介绍多模型动态调度方案。

PagedAttention、FlashAttention 原理解析

在大型语言模型中，Attention 机制是其核心组成部分，但也是计算和内存的瓶颈所在。为了解决这些瓶颈，PagedAttention 和 FlashAttention 应运而生。

1. PagedAttention 原理

PagedAttention 是 vLLM 框架提出的一个创新机制，旨在解决 Transformer 模型推理过程中 KV Cache（Key-Value Cache）碎片化的问题。

• KV Cache 是什么？

  在 Transformer 模型进行自回归生成时，每个新生成的 Token 都需要重新计算 Attention。为了避免重复计算先前 Token 的 Key 和 Value，这些计算结果会被缓存起来࿰