2025_NIPS_Enhancing Vision-Language Model Reliability with Uncertainty-Guided Dropout Decoding

文章总结与翻译

一、主要内容

该研究针对大型视觉语言模型（LVLMs）在处理多模态任务时易出现视觉输入误解、生成幻觉（尤其是物体幻觉）和输出不可靠的问题，提出了一种名为DROPOUT DECODING的推理时优化方法。

核心思路是通过量化视觉token的不确定性，选择性屏蔽高不确定性token以改进解码过程：

1. 不确定性量化：将视觉token投影到文本空间，分解出与数据相关的随机不确定性（aleatoric）和与模型认知相关的认知不确定性（epistemic），重点关注能有效捕捉感知误差的认知不确定性；
2. 不确定性引导的token dropout：借鉴dropout正则化思想，在推理阶段对输入视觉token（而非模型参数）执行dropout，根据认知不确定性选择性屏蔽高风险token；
3. 集成预测优化：生成多个屏蔽不同高不确定性token的视觉输入子集，独立处理后通过多数投票聚合结果，减轻视觉token误解导致的误差。

实验在CHAIR、THRONE、MMBench等基准数据集上验证，该方法在LLaVA-1.5、InstructBLIP、LLaVA-NEXT等模型上均能显著减少物体幻觉，同时提升输出可靠性和整体质量，且无