2025_NIPS_HiFC: High-efficiency Flash-based KV Cache Swapping for Scaling LLM Inference

HiFC 论文核心总结与翻译

一、主要内容总结

1. 研究背景与问题

大语言模型（LLM）长上下文推理时，键值（KV）缓存的存储空间常超出GPU高带宽内存（HBM）容量。现有解决方案存在明显缺陷：

• 基于DRAM的KV缓存交换方案（如vLLM）需大规模DRAM池，导致部署成本高、功耗大；
• 基于SSD的卸载方案（如FlexGen）需通过CPU中转数据，PCIe带宽受限，吞吐量显著下降，且频繁随机写入会加剧SSD磨损。

2. 核心解决方案：HiFC架构

HiFC（High-efficiency Flash-based KV Cache Swapping）是一种无DRAM的KV缓存交换方案，通过三大核心组件实现高效、低成本的LLM推理内存扩展：

• Flash缓存块分配器：扩展vLLM内存分配器，将KV块以固定大小（32-128 tokens）分配至SSD，采用追加策略保证顺序I/O；
• Flash感知块管理：将KV块物理顺序放置，减少内部碎片和写入放大（WA），提升SSD寿命；
• GDS加速缓存引擎：利用