
TriAttention:单张RTX 4090跑通32B大模型,2.5倍吞吐、10.7倍内存缩减!
一张RTX 4090,拥有24GB显存,若用它跑一个32B参数的大模型做agent任务,且不做任何KV压缩,显存会直接爆掉,连模型都跑不起来。
不过,换上TriAttention后,模型就能稳稳跑起来,还能顺利读完6份文档,并自动生成一份完整周报。这可不是社区大神的魔改成果,而是出自一篇来自MIT、英伟达、浙大的联合论文。其核心思路是在pre - RoPE空间里,用Q/K的三角集中度来估计每个KV token的重要程度,然后只保留真正重要的那些。打个比方,别的方法压缩KV cache就像是把所有行李都塞进压缩袋,不管里面是羽绒服还是砖头一律压扁;而TriAttention则是先翻一遍行李箱,把砖头扔掉,只给羽绒服打包。
TriAttention demo演示展示了单张RTX 4090上Qwen3 - 32B完成OpenClaw agent任务的完整过程。作者之一Yukang Chen在X上发布了这组对比,左边未进行压缩时,显存直接报错;右边开启TriAttention后,agent一路读完6份文档,完整输出了周报。
效果如何?用数字说话。在AIME25数学推理任务上,TriAttention在匹配Full Attention准确率(40.8%)的前提下,吞吐量提升了2.5倍;再看内存,KV cache内存缩减了10.7倍。在AIME25(Qwen3 - 8B)上的性能权衡方面,(A) 在相同准确率(40.8%)下,TriAttention的吞吐量比Full Attention高2.5倍;(B) TriAttention在保持与Full Attention相同准确率的同时,将KV缓存内存减少了10.7倍。需要注意的是,这里说的是KV cache memory,不是整机显存,也不是模型参数占用的总内存。但即便只是KV cache这一项,对长序列推理场景来说,往往就是压垮显存的最后一根稻草,砍掉这一项,就是能跑和不能跑的分界线。
主实验是在Qwen3 - 8B上做的,覆盖AIME24、AIME25、MATH500等任务。在32K token的生成长度条件下,TriAttention几乎没有牺牲精度,但把推理效率提升到了一个新台阶。
这篇论文附录中提到了一个真实部署案例。场景是OpenClaw,一个多轮agent工作流,任务是读6份markdown文档,生成一份周报。模型是Qwen3 - 32B,采用了AWQ INT4量化,运行在一张RTX 4090(24GB)上。若不压缩KV cache直接执行这个任务,显存会当场爆掉,因为长系统提示加上多轮文档读取,会使KV cache膨胀到显存根本无法承受。而TriAttention接管之后,agent顺利读完所有文档,生成了完整报告。该模型用的是Qwen3 - 32B AWQ INT4量化版,不是原始FP16满血版;跑的是OpenClaw agent工作流,不是通用长文本benchmark。但它刚好证明了「一个完整的、有实际生产价值的agent任务,可以在消费级硬件上跑通」。
TriAttention不只是停留在论文里。作者已经在GitHub仓库中提供了vLLM集成,README明确写到TriAttention包含一个vLLM插件,并给出了OpenAI兼容API的server mode、Python API以及OpenClaw接入说明。相比论文中的实验结果,这属于仓库层面的工程化扩展。这意味着,不需要更改模型架构,也不需要重新训练,只需要挂上这个插件,就能在现有的vLLM推理管线上获得KV压缩收益。在Apple Silicon方向上,官方仓库里单独放了一份docs/mlx.md,覆盖M1到M4全系芯片,基于MLX框架和mlx - lm运行,附带示例代码和硬件benchmark。不过,官方文档标题中也标注了这还是实验性支持,这说明他们已经在早期试水MLX了,但离成熟的Mac本地部署还有距离。
KV cache压缩赛道存在两条路线。一条是量化派。Google Research在3月24日发布了TurboQuant,官方博客将其定位为「在零精度损失下实现极致压缩」的方案,主打把KV cache和向量搜索的bit数压到极低。在Google Research官方博客的LongBench基准测试图中,TurboQuant在LongBench基准测试中,相较于多种压缩方法,在Llama - 3.1 - 8B - Instruct模型上展现出稳健的KV缓存压缩性能。社区已经有人在Apple Silicon上用TurboQuant跑通了Gemma 4 31B。另一条是选择性保留派,TriAttention就是这条路线的新代表,它不压缩bit,而是直接判断哪些token的KV值得保留、哪些可以舍弃。
两条路线的终点其实一样:让大模型跑在消费级硬件上,显存不炸,精度不掉。但方法论完全不同,量化是把每个行李都压扁,选择性保留是直接减少行李数量。理论上,两者甚至可以叠加使用。目前还没有严格的同模型、同硬件、同任务的head - to - head对比,所以「谁碾压谁」还无法确定。但可以确定的是,这两条路线正在加速向消费级部署推进。一年前,「本地跑大模型」还是极客圈的行为艺术,跑个7B都要折腾半天。现在,32B模型能在单张消费级卡上完成agent任务,Apple Silicon上的MLX生态一周一个新仓库,vLLM插件让KV压缩变成「挂上就用」的一键方案。KV cache压缩这条赛道,正在从论文里的消融实验,变成每个开发者都能触碰到的工程现实。
作者简介
Weian Mao现为MIT CSAIL博士后研究员,博士毕业于阿德莱德大学AIML,师从沈春华教授。其当前研究聚焦大语言模型,尤其关注推理效率与长上下文推理中的KV cache压缩;此前也从事过计算机视觉与蛋白质设计等方向研究。
Xi Lin是浙江大学计算机科学与技术专业高年级本科生,研究兴趣集中在高效AI的算法—系统协同设计,尤其关注面向硬件友好的稀疏与量化模块设计,以及高效推理策略。其工作与高性能计算、机器学习系统等方向密切相关。
Wei Huang现为香港大学博士生,研究聚焦Efficient AI与大型视觉/语言模型。目前,他在NVIDIA Research实习,与Yukang Chen等研究者合作,并在Song Han指导下开展相关研究,参与了QeRL、LongLive等工作。
6522



被折叠的 条评论
为什么被折叠?



