KVarN: Variance-Normalized KV-Cache Quantization Mitigates Error Accumulation in Reasoning Tasks

论文主要内容和创新点

主要内容

测试时缩放（Test-time scaling）技术显著提升了 LLM 的推理能力，但代价是解码长度不断增加，KV 缓存随之快速增长，导致内存成为性能瓶颈。KV 缓存量化通过将 K、V 矩阵的每个元素从 16 位压缩到 2–4 位来缓解内存压力，但现有方法主要在预填充（prefill）场景下评估，而在长序列自回归解码过程中，量化误差会逐步累积，严重影响推理质量。

论文的核心发现是：KV 缓存量化中的异常误差主要由 token 幅度错误（token magnitude errors） 驱动，而非方向性误差。通过对 Qwen3-4B 等模型的分析，作者发现 K 矩阵中前 5% 的最大误差中超过 98% 来自 K 矩阵，且这些误差主要由不正确的 token 缩放引起。

为解决这一问题，论文提出 KVarN——一种免校准的 KV 缓存量化器。该方法首先在通道维度上对每个 token 应用 Hadamard 旋转，使异常值扩散到整个通道空间；随后对 K 和 V 矩阵的两个轴（token 维和通道维）进行双尺度方差归一化（dual-scaling variance normalization），最后执行舍入取整量化。实验证明，这种组合能有效修正 token 尺度异常误差，显著减少误差累积。

KVarN 在多个生成式基准测试上取得了当时最优（SOTA）结果，包括 MATH500、AIME24、HumanEval 和 IFEval，在 2 位精度下实现了接近无损的 KV 缓存压缩。作者已将 KVarN 集成