EVTP-IVS: Effective Visual Token Pruning For Unifying Instruction Visual Segmentation In Multi-Mo...

EVTP-IVS研究总结与核心内容翻译

一、文章主要内容总结

1. 研究背景与问题

• 任务定义：指令式视觉分割（IVS）需根据自然语言指令分割图像或视频中的目标，涵盖指代表达式分割（RES）、指代视频目标分割（R-VOS）等任务，相比传统固定类别分割，需更精细的视觉理解与语言接地能力。
• 现有挑战：多模态大语言模型（MLLMs）在IVS任务上表现出色，但推理成本极高（尤其视频任务）。现有方法如VISA依赖复杂流水线，InstructSeg虽实现端到端统一图像与视频分割，却因处理大量参考帧导致推理缓慢，难以部署。
• 剪枝痛点：现有视觉令牌剪枝方法（如基于注意力、校准的方法）聚焦粗语义理解，忽略分割所需的像素级空间精度，无法适配IVS的令牌-像素对齐需求，易导致掩码质量下降，且针对MLLM-based IVS的令牌剪枝研究仍属空白。

2. 核心发现与分析

• 令牌冗余性：通过实验发现，MLLMs在IVS任务中存在大量视觉令牌冗余——图像任务保留60%-70%令牌、视频任务保留约60%令牌时，模型性能即趋于饱和。
• 覆盖度与性能关联：定量分析表明，令牌子集的覆盖度（均匀性、代表性）与分割性能强相关，更优的特征空间覆盖度能带来更高质量的分割结果（如k-center算法比随机采样、多样性方