文章核心总结与创新点
主要内容
文章针对大语言模型(LLMs)长上下文推理时KV缓存占用大量GPU内存(最高达70%)的问题,提出了KV缓存压缩方法ChunkKV。现有方法因孤立评估令牌重要性导致语义碎片化,ChunkKV以语义块为压缩单位,结合层间索引复用技术,在LongBench、GSM8K等多个基准测试中,以相同压缩比实现了最高8.7%的精度提升,同时将吞吐量提高26.5%,有效解决了内存瓶颈。
核心创新点
- 语义块级压缩:摒弃孤立令牌选择,以语义块(如包含主谓宾的完整语言结构)为基本压缩单位,保留上下文完整性。
- 层间索引复用:利用ChunkKV保留的索引在跨层间相似度更高的特性,复用多层压缩索引,减少20%计算开销,性能仅下降0.5%。
- 高效算法设计:通过观察窗口计算、块注意力分数求和、Top-K块选择等步骤实现压缩,结合向量化操作和内存优化提升推理效率。
翻译部分(Markdown格式)
Abstract
大语言模型(LLMs)处理长文本时需要大量GPU内存,其中键值(KV)缓存在推理过程中占用的内存高达总内存的70%。尽管现有压缩方法通过评估单个令牌的重要性来减少内存占用,但它们忽略了令牌之间关键的语义关系,导致上下文碎片化和性能下降。我们提出了ChunkKV,它从根
订阅专栏 解锁全文
501



被折叠的 条评论
为什么被折叠?



