RETHINKING KEY-VALUE CACHE COMPRESSION TECHNIQUES FOR LARGE LANGUAGE MODEL SERVING

文章总结

主要内容

本文从实际部署角度重新审视了大型语言模型（LLM）服务中的键值缓存（KV cache）压缩技术，指出当前研究在性能评估中的不足，并通过实验揭示了压缩技术在计算效率、输出长度和准确性方面的关键问题。主要贡献包括：

1. 全面综述：系统梳理了量化和稀疏性两类KV缓存压缩算法的设计与评估基准，指出了现有研究在吞吐量、输出长度分布和负样本分析上的缺失。
2. 实验发现：
   • 计算效率：现有压缩方法在特定批处理大小和序列长度下性能下降，且与主流优化框架（如FlashAttention和PagedAttention）集成时效果减弱。
   • 输出长度：压缩技术可能导致更长的响应，抵消吞吐量提升，增加端到端延迟。
   • 准确性：负样本分析表明，压缩对特定任务（如摘要和问答）的影响显著，现有方法难以完全消除此类问题。
3. 工具开发：提供吞吐量预测器、长度预测器和负样本评估基准，助力压缩技术的实际部署与优化。