2025_NIPS_FastVID: Dynamic Density Pruning for Fast Video Large Language Models

FastVID 论文核心总结与翻译

一、主要内容总结

1. 研究背景与问题

视频大型语言模型（Video LLMs）虽具备强大的视频理解能力，但因视频 tokens 存在大量时空冗余，导致推理成本极高，限制了实际部署。现有剪枝技术未能充分利用视频数据的时空冗余特性：静态图像压缩方法忽略帧间时序依赖，传统视频剪枝或需昂贵再训练，或存在内容无关的 token 选择、破坏时序结构等问题。

2. 核心方法：FastVID

提出一种面向 Video LLMs 的动态密度剪枝框架（FastVID），聚焦推理时加速（无需额外训练），核心包含两大模块：

• 动态时序分割（Dynamic Temporal Segmentation, DySeg）：基于相邻帧的过渡相似度自适应划分视频片段，保证片段内高冗余性和片段间时序连续性，避免固定间隔分割（帧间差异大）和聚类分割（破坏时序）的缺陷。
• 密度时空剪枝（Density Spatiotemporal Pruning, STPrune）：在每个片段内进行剪枝，包含两部分：
  • 密度基 token 融合（DTM）：选择密度峰值 token 作为锚点，保留位置信息并聚合相似 token，确保视觉上下文代表性；
  • 注意力基 token 选择（ATS）：通过 SigLIP 头提取 [CLS] 注意力分数，筛选关键视觉细节 token。