2025_NIPS_Accurate KV Cache Eviction via Anchor Direction Projection for Efficient LLM Inference

文章核心总结

主要内容

本文聚焦大语言模型（LLM）推理中的KV缓存淘汰优化，针对现有方法依赖注意力权重、忽略向量空间中令牌价值状态空间关系的缺陷，提出锚点方向投影（AnDPro）方法。通过将KV缓存淘汰建模为组合优化问题并松弛为稀疏优化问题，AnDPro以预淘汰输出方向为“锚点方向”，利用令牌价值向量在该方向上的投影衡量令牌重要性，实现更精准的缓存保留决策。在LongBench和Needle-in-a-Haystack基准测试中，AnDPro仅用3.44%的KV缓存预算就能保持96.07%的全缓存准确率，较现有最优方法减少46.0%的缓存开销，同时在长上下文检索和推理效率上表现优异。

创新点

1. 提出投影基评分函数：突破传统注意力权重单一维度的局限，结合令牌价值向量与预淘汰输出的空间投影关系，更全面衡量令牌重要性。
2. 锚点方向设计：以预淘汰输出方向为锚点，确保保留对语义贡献关键的令牌，减少淘汰后的语义偏移。
3. 高效优化框架：通过组合优化问题松弛与稀疏优化推导，实现快速令牌筛选，在毫秒级完成决策，适配LLM推理实时性需求。
4. 跨注意力头自适应预算分配：结合令牌分块合并技术，兼顾语义连贯性与缓存利用效率，适配不同模型与任务场景。

---

英文原文翻译（Markdown格式）

Abstract

键值（KV）缓存淘汰技术通过保留最重要令牌的KV对、丢弃次要令牌，是优化大语言模型（L