2025_NIPS_SCOPE: Saliency-Coverage Oriented Token Pruning for Efficient Multimodel LLMs

文章核心总结与翻译

一、主要内容

该研究针对多模态大语言模型（MLLMs）处理视觉令牌时存在的计算开销大、语义完整性不足等问题，提出了一种名为SCOPE（Saliency-Coverage Oriented token Pruning for Efficient MLLMs）的视觉令牌剪枝策略。

核心背景

MLLMs通常将图像编码为大量视觉令牌，高分辨率图像或视频场景下令牌数量可达上千甚至数千，导致自注意力计算成本呈二次增长，限制了其在边缘计算等资源受限场景的部署。现有剪枝方法多基于注意力分数选择显著令牌，但存在语义完整性缺失（忽略关键上下文）和注意力分布倾斜（难以区分低注意力但有价值的令牌）两大缺陷。

方法设计

1. 集合覆盖度（Set-coverage）：基于令牌间余弦相似度计算选定令牌集的覆盖范围，量化其对全量令牌语义空间的覆盖程度。
2. 令牌覆盖增益（Token-coverage Gain）：衡量未选定令牌加入后带来的额外覆盖贡献，体现令牌的语义补充价值。
3. SCOPE分数：融合令牌覆盖增益与注意力显著性分数，通过迭代选择分数最高的令牌，平衡显著性与覆盖度。