2025_NIPS_Mitigating Hallucination in VideoLLMs via Temporal-Aware Activation Engineering

一、文章主要内容总结

该研究聚焦于视频多模态大语言模型（VideoLLMs）的幻觉问题，首次系统性探索了激活工程（Activation Engineering）在缓解该问题中的可行性与内在机制，并提出了一种时序感知的激活工程框架。

1. 研究背景：VideoLLMs虽在视频理解任务中取得显著进展，但由于额外的时间维度，幻觉问题（生成看似合理但不准确的输出）更为严重，现有解决方案要么依赖昂贵的模型微调，要么效果有限。激活工程在文本和图像模型的幻觉缓解中已获成功，但在视频领域的应用尚未被探索。

2. 核心发现：

   • 模型内部模块的幻觉敏感性与任务的时序变化特征（而非任务类型）强相关，视频任务可分为时序不变型（无显著场景变化、细粒度事件）和时序变化型（多事件、场景转换明显）。
   • 激活工程的两种变体（注意力头工程、层工程）效果相近，本质上具有等效性。
   • 选择与任务时序特征匹配的数据集和模块，是激活工程有效缓解幻觉的关键；混合不同时序特征的数据集仅能带来中等效果。

3. 方法设计：

   • 构建自动化数据集 pipeline：基于ShareGPT4Video数据集，筛选出时序不变型（DafD_{a}^{f}