2025_NIPS_Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospecti...

文章核心总结与翻译

一、主要内容

该研究针对视觉语言模型（VLMs）的视觉幻觉问题，提出了统一框架REVERSE，通过幻觉感知训练与回溯重采样技术，实现生成、验证、修正一体化。模型在训练阶段引入含130万半合成样本的数据集，标注置信标记；推理阶段通过监测特殊标记概率，触发回溯和自我修正，在多个基准测试中显著降低幻觉率，同时保持生成内容的完整性和质量。

二、创新点

1. 提出首个融合生成调整与事后验证的统一框架，实现解码过程中的实时自我修正，无需等待初始输出完成。
2. 构建含130万半合成样本的幻觉验证数据集，引入<SPAN>``<CN>``<UN>三个特殊标记，让模型能明确标记短语置信度。
3. 设计回溯重采样技术，通过分层回溯策略、拒绝采样和查询重写，精准修正幻觉内容，且支持阈值调优以平衡幻觉率与内容覆盖率。
4. 无需依赖外部模型，仅通过单一VLM完成生成、验证与修正，效率更高且泛化性强。

---

三、核心部分翻译（Markdown格式）

Abstract

视觉语言模型（VLMs）在视觉理解任务中表现出色，但经常受到视觉幻觉的困扰——它们会生成不存在的物体、动作或概念的描述，这在安全关键型应用中构成了重大风险。现有幻觉缓解方法通常遵循两种范式之一：生成调整（修改解码行为以对齐文本与视觉输入）和事后验证（利用外部模型评估并修