AVAM: Universal Training-free Adaptive Visual Anchoring Embedded into Multimodal Large Language M...-优快云博客

AVAM相关总结与翻译

一、文章主要内容

该研究聚焦多图像视觉问答（MVQA）领域，针对多模态大型语言模型（MLLMs）在处理多图像输入时存在的视觉冗余问题展开。随着MVQA中图像数量增加，无关视觉冗余会降低模型问答准确率与效率，而现有方法在控制压缩视觉令牌数量灵活性、避免产生离散视觉片段方面存在不足。

研究提出无训练的自适应视觉锚定（Adaptive Visual Anchoring）策略，可无缝集成到现有MLLMs中。该策略通过量化视觉特征与对应文本跨模态相关性的响应图，从全局视觉表征中提取关键区域，生成锚框定位与问题相关的视觉区域，并借助响应密度指标筛选关键区域、过滤冗余令牌。同时，为平衡全局与压缩视觉输入的结果，引入协同解码机制，依据不同冗余水平动态融合两种输入的解码分布，实现最优性能。

在实验方面，研究在MuirBench、MIBench和Mantis - Eval三个MVQA基准数据集上，对8种主流MLLMs（包括基于插入的模型如LLaVA - v1.5 - 7B、DeepSeek - vl7B等，以及基于查询学习的模型如Qwen - VL - 9.6B、Idefics2 - 8B）进行测试。结果表明，集成该方法后所有模型在各基准数据集的平均准确率均有显著提升，且通过消融实验验证了自适应视觉锚定策略和协同解码机制各组件及关键参数的有效性，同时与现有主流视觉令牌压缩算法对比，该方法在过滤无关信息、保留关键视觉细节方面表现更优。