A Survey on Large Language Model Acceleration based on KV Cache Management

本文是LLM系列文章，针对《A Survey on Large Language Model Acceleration based on KV Cache Management》的翻译。

摘要

大型语言模型（LLM）因其理解上下文和执行逻辑推理的能力，彻底改变了自然语言处理、计算机视觉和多模态任务等广泛领域。然而，LLM的计算和内存需求，特别是在推理过程中，在将其扩展到现实世界、长上下文和实时应用程序时带来了重大挑战。键值（KV）缓存管理已成为一种关键的优化技术，通过减少冗余计算和提高内存利用率来加速LLM推理。本调查全面概述了LLM加速的KV缓存管理策略，将其分为token级、模型级和系统级优化。token级策略包括KV缓存选择、预算分配、合并、量化和低秩分解，而模型级优化则侧重于架构创新和注意力机制，以增强KV重用。系统级方法解决了内存管理、调度和硬件设计问题，以提高不同计算环境的效率。此外，该调查还概述了用于评估这些策略的文本和多模态数据集以及基准。通过提供详细的分类和比较分析，这项工作旨在为研究人员和从业者提供有用的见解，以支持高效和可扩展的KV缓存管理技术的开发，为LLM在现实世界应用中的实际部署做出贡献。KV缓存管理的精选论文列表如下：https://github.com/TreeAI-Lab/Awesome-KV-Cache-Management.

1 引言

2 前言

3 分类

4 token级优化

5 模型级优化