2025_NIPS_Seeing is Believing? Mitigating OCR Hallucinations in Multimodal Large Language Models

一、文章主要内容总结

该研究聚焦多模态大语言模型（MLLMs）在退化文档理解中的OCR幻觉问题，核心是解决模型在模糊、遮挡、低对比度等视觉退化场景下，因过度依赖语言先验或跨模态推理错位导致的虚假内容生成问题。主要内容包括：

1. 问题提出：现有MLLMs在高质量文档处理中表现接近人类，但在真实场景的视觉退化条件下，存在OCR幻觉缺陷，根源在于预训练缺乏退化场景数据、指令微调忽视退化处理范式、评估缺乏专用基准三大挑战。
2. 核心贡献：
   • 提出首个专门评估退化文档OCR幻觉的基准数据集KIE-HVQA，包含身份证、发票、处方等2000个训练样本和400个测试样本，模拟真实退化场景并提供像素级OCR可靠性标注。
   • 设计基于组相对策略优化（GRPO）的训练框架，引入多目标奖励机制，通过监督微调（SFT）和强化学习（RL）结合，让模型具备视觉不确定性自感知能力，对模糊区域主动拒绝猜测以减少幻觉。
3. 实验结果：基于Qwen2.5-VL-7B模型的优化版本，在KIE-HVQA基准上的无幻觉准确率较GPT-4o提升约28%，且在标准OCR任务中无显著性能下降，验证了方法的有效性和鲁棒性。

二、文章创新点

1. 首个退化文档OCR幻觉评估基准：KIE-HVQA填补了现有基准忽视视觉退化导致幻觉问题的空白，提供细粒度标注和多维度评估指标（清晰字符准确率、退化字符准确率、全局OCR性能）