ALISA: Accelerating Large Language Model Inference via Sparsity-Aware KV Caching

本文是LLM系列文章，针对《ALISA: Accelerating Large Language Model Inference via Sparsity-Aware KV Caching》的翻译。

摘要

Transformer体系结构具有显著的高级自然语言处理（NLP），并且是开发大型语言模型（LLM）（如LLaMA和OPT）的基础，这些模型已经主导了广泛的NLP任务。尽管LLM具有卓越的准确性，但在实际推理中，LLM在计算和内存密集型方面面临着独特的挑战。由于LLM推理的自回归特性，Transformers中注意力层的KV缓存可以通过用线性复杂度存储器访问代替二次复杂度计算来有效地加速LLM推理。然而，随着对处理较长序列的需求增长，这种方法需要增加内存。由于I/O瓶颈甚至内存不足错误，这种开销导致吞吐量降低，尤其是在资源受限的系统（如单个商品GPU）上。
在本文中，我们提出了ALISA，这是一种新的算法系统代码设计解决方案，以解决KV缓存带来的挑战。在算法级别上，ALISA通过稀疏窗口注意（SWA）算法对生成新token时最重要的token进行优先级排序。SWA在注意力层中引入了高稀疏性，并以可忽略的精度损失减少了KV缓存的内存占用。在系统级，ALISA采用三阶段token级动态调度࿰