2025_NIPS_AVCD: Mitigating Hallucinations in Audio-Visual Large Language Models through Contrasti...

文章核心总结与创新点

一、主要内容

该研究针对音视频大语言模型（AV-LLMs）中普遍存在的幻觉问题（包括单模态误导和跨模态交互引发的事实错误），提出了一种无训练依赖的解码框架——音视频对比解码（AVCD）。研究背景为：现有对比解码（CD）方法主要适用于视觉-语言模型（VLMs），仅针对固定模态进行扰动，无法适配AV-LLMs中音频、视频、语言三模态的复杂交互场景。

AVCD的核心流程包括三部分：1）通过注意力分布动态识别主导模态，对非主导模态实施注意力掩码；2）重构对比解码框架以适配三模态输入，捕捉跨模态幻觉模式；3）引入熵引导的自适应解码机制，根据模型预测置信度跳过不必要的解码步骤，提升效率。

实验验证显示，AVCD在AVHBench数据集上对VideoLLaMA2和video-SALMONN模型的准确率分别提升2%和7%，且在视频-LLMs、图像-LLMs上均表现出良好的泛化能力，有效平衡了模态依赖，减少了幻觉生成。

二、创新点

1. 动态模态感知掩码：不同于现有CD方法固定扰动单一模态，AVCD通过注意力权重分析识别非主导模态，针对性施加掩码，避免直接扰动输入带来的噪声干扰。
2. 三模态对比解码重构：扩展传统CD框架以同时处理音频、视频、语言输入，解决了跨模态组合引发的幻觉问题，填补了AV-LLMs中对比解码应用的空白。
3. 熵引导自适应解码：基于预测分布的熵值判断模型置信度，仅对低置信度预测执行完整CD流程，在不损失性能的前