2025_NIPS_SmartCache: Context-aware Semantic Cache for Efficient Multi-turn LLM Inference

文章核心总结与翻译

一、主要内容

该研究针对多轮对话中大型语言模型（LLMs）推理效率低下的问题，提出了一种上下文感知的语义缓存框架SmartCache。现有优化方案存在语义识别缺失、上下文忽略或与底层键值（KV）缓存管理脱节等缺陷，导致语义相似查询重复计算、GPU内存占用过高。SmartCache通过系统-算法协同设计，整合语义索引与KV缓存管理，实现跨会话语义相似性复用，同时保障对话上下文完整性，在降低计算开销和内存占用的同时提升回答质量。

核心功能与效果

1. 效率优化：在CoQA和SQuAD数据集上，相比前缀缓存（PrefixCache）KV缓存内存占用最高降低59.1%，相比语义缓存（如GPTCache）降低56.0%；首 token 生成时间（TTFT）分别减少78.0%和71.7%。
2. 质量提升：Qwen-2.5-1.5B模型在CoQA数据集上的F1分数提升39.9%，ROUGE-L分数提升39.1%。
3. 缓存管理优化：语义感知分层驱逐策略（STEP）在倾斜工作负载下，复用距离较LRU/LFU策略最高提升29.9%。

二、创新点