
【AI厂商上下文窗口长度角逐激烈】
2026年初,各大AI厂商在上下文窗口长度上展开激烈角逐。Google的Gemini 3 Pro已支持100万级token上下文,Meta的Llama 4 Scout更宣称可处理1000万token。GPT - 5系列也在快速推进长上下文能力。按这个趋势,今天的大模型已经能够一口气读完整套《哈利・波特》,未来甚至可能直接分析整个大型代码仓库。
【长上下文带来的问题】
不过,数字背后也隐藏着一个关键问题:上下文越长,模型就越「记不住」。这并非模型不够聪明,而是Transformer架构本身的工程约束。当模型处理长文本时,需要为每个token保存Key - Value(KV)状态,用于后续生成时的注意力计算,这个缓存区域被称为KV Cache。KV Cache的大小会随上下文长度线性增长:输入越长,占用的GPU显存越多,推理速度也越慢。对于百万token级别的输入,在大型模型和高精度推理场景下,KV Cache的内存开销可达到数十到数百GB,远超单张顶级GPU的显存容量。没错,上下文窗口的竞赛,本质上是一场显存的战争。
【现有「事后压缩」方案的局限】
面对这一困境,研究者们已经开发出多种「事后压缩」方案,也就是在模型训练完成之后,用各种算法对KV缓存进行精简。这些方法确实有效,但它们都遗漏了一个更根本的问题:如果模型在最初学习的时候,就没有被引导去生成「容易被压缩」的内部表示,那么后期无论怎么压缩,效果都将受到天花板限制。
【KV - CAT:训练时让模型学会「压缩友好」记忆】
就在这一背景下,来自牛津大学、以色列理工学院、AITHYRA和英伟达的联合研究团队提出了一个新的思路:与其事后弥补,不如训练时就让模型主动学会「压缩友好」的记忆方式。他们将这套方法命名为KV - CAT(KV压缩感知型训练,KV - Compression Aware Training)。
【KV缓存为何难压缩】
要理解这项研究的价值,先得弄清楚一个直觉上看似奇怪的事实:两个输出完全相同的模型,其KV缓存可能一个极易压缩,另一个根本无法压缩。这听起来很反直觉,我们通常认为,如果两个系统的「结果」相同,它们的内部过程应该没有本质区别,但在神经网络世界里并非如此。研究团队用「词频统计」的例子来说明:给模型输入一段文字,让它统计每个字母出现的次数,这是一个只依赖「汇总信息」的任务,与每个字母出现的顺序无关。同样完成这个任务,有两种截然不同的内部实现方式。第一种是「自然而然」的实现,这种方法简单直接,但对KV缓存的任何压缩都会打破平均计算,导致最终结果出错,研究团队从数学上证明了这种实现方式在理论上对任何程度的压缩都不具备容错能力。第二种是「结构化」的实现,模型在处理每个token时,额外记录序列的位置信息,当KV缓存被压缩成一个单一的向量时,模型可以利用位置信息对压缩后的汇总值进行重新校准,从而恢复正确的统计结果,这种实现方式理论上可以将任意长度的前缀压缩到仅剩一对KV向量,同时保持零误差。关键在于,标准的模型训练过程,完全没有激励让模型去选择第二种更结构化的实现,因为在没有压缩的场景下,两种方式效果完全一样,训练信号无从区分。
【KV - CAT核心方法:「戴着枷锁」学习】
认识到这一点后,研究团队设计了KV - CAT训练方案。核心思路极为直接:如果想让模型学会在KV缓存被压缩的情况下正常工作,就在训练时模拟这种压缩压力,这类似于一种「记忆障碍训练」。普通的模型训练就像让学生在考试时可以带着完整的笔记本作答,而KV - CAT则是在训练时就没收大部分笔记,逼着学生将最重要的信息内化成真正的「理解」,而非对笔记的依赖。具体来说,KV - CAT在原有的预训练模型基础上,引入了一组轻量级的「路由器」模块。这些路由器在训练的每一步会动态判断哪些KV槽位是必要的、哪些可以被屏蔽,目标是保留约50%的KV缓存。每次前向传播,模型需要同时进行两次计算:一次是正常的「全量」计算,一次是「压缩」计算。训练目标由三部分组成:自蒸馏损失,让压缩模式下的输出尽量逼近全量模式下的输出;锚定损失,直接对全量模式施加标准的下一个词预测目标,确保模型的基础能力不退化;预算损失,约束路由器实际保留的KV比例不偏离50%的目标太多。整个流程完成后,路由器模块在推理时会被关闭,输出的是一个标准的Transformer模型,它的参数与原模型相同,但其内部已经被训练成一种「天然压缩友好」的表示形式,后续可以搭配任意现成的KV压缩方法使用。
【实验结果:全面领先且不牺牲基础能力】
研究团队将KV - CAT应用于Qwen2.5的两个规模版本(0.5B和1.5B参数),并在多个维度上对其进行评估。首先,基础能力没有损失。在六个标准多选题基准测试上,KV - CAT训练后的模型与原始模型几乎持平,0.5B版本平均提升了0.7个百分点,1.5B版本平均下降了0.5个百分点,均属于正常的训练波动范围,这说明KV - CAT没有以牺牲通用能力为代价换取压缩性能。其次,后期KV压缩的效果大幅改善。在同等压缩预算下,与原始基础模型相比,使用注意力匹配方法对前缀进行压缩后,续写文本的困惑度差距最多缩小了3.21倍;使用梯度优化法进行压缩时,KV - CAT模型达到相同压缩质量所需的优化步数减少了最多5倍。第三,「大海捞针」检索准确率显著提升。在保留50%的KV槽位的情况下,KV - CAT版本的Qwen2.5 - 0.5B检索准确率从28%跃升至47%,Qwen2.5 - 1.5B则从49%提升至67%,提升幅度接近68%。即使在极端压缩的情况下,KV - CAT版本的性能也与基础模型在轻度压缩时相当。第四,长文问答任务也有明显改善。在LongBench v2的七项长文本问答任务上,KV - CAT模型在各压缩比例下的平均准确率均高于基础模型,最大提升幅度达到39%。
【结语:KV - CAT的作用与挑战】
KV - CAT并不声称要取代现有的压缩算法,它的目标是成为现有压缩方法的「底层增强」,同样的压缩算法,作用在KV - CAT训练过的模型上,效果更好、速度更快。这种「训练时为推理做准备」的思路,在AI系统工程领域并不陌生,但将其具体应用于KV缓存的可压缩性,并从理论上证明这种属性完全由模型的学习表示决定,是这项工作的核心贡献。当然,这套方案也有其代价:继续预训练引入了额外的训练开销,路由器模块增加了实现复杂度,目前的实验规模也仅限于0.5B和1.5B两个相对小型的模型。研究者坦承,这套方法能否平滑扩展到百亿甚至千亿参数的大模型,仍是一个开放问题。那么,随着上下文窗口的竞赛不断推进,显存瓶颈正升级为制约AI系统规模化部署的核心挑战,让模型从一开始就「学会压缩」,而不是生成了难以压缩的表示之后再亡羊补牢,是否将是未来大模型训练工程中越来越值得重视的设计维度呢?
38



被折叠的 条评论
为什么被折叠?



