2025_NIPS_Accelerating Multimodal Large Language Models via Dynamic Visual-Token Exit and Empirical

文章主要内容总结

本文聚焦多模态大语言模型（MLLMs）的视觉冗余问题，通过分析注意力行为发现其推理过程存在三个核心阶段：早期融合、模态内建模、多模态推理。研究揭示，视觉 tokens 在文本 tokens 获取足够视觉信息后便不再对推理有实质贡献。基于此，提出动态视觉 token 退出方法（DyVTE），通过轻量级超网络感知文本 token 状态，自动决策视觉 tokens 的退出时机，在不损失性能的前提下降低计算开销。该方法与现有 token 级压缩方法正交且互补，在 LLaVA、VILA 等多个模型及9个基准测试中验证有效，最高可减少 45.7% 计算量，且具备跨模型泛化能力。

创新点

1. 首次从注意力行为视角系统分析 MLLMs 推理模式，明确三个通用阶段及视觉 tokens 的冗余特性，为效率优化提供理论依据。
2. 提出 DyVTE 方法，通过动态退出视觉 tokens 而非裁剪/合并单个 token，实现全局级冗余优化，且不改变模型原有推理流程。
3. 设计独立于 MLLMs 梯度计算的高效训练机制，训练成本低，同时支持与现有 token 剪枝方法结合，进一步提升效率（最高减少 51.5% 计算量）。
4. 验证了方法的通用性，在不同规模、不同架构的 MLLMs 上均有效，且具备跨模型迁移能力，无需针对特定模型重新训练。

---

翻译部分（Markdown 格式）

Abstract

本文从注意力行为视角研究多模态大语言模