HALLUSIONBENCH: You See What You Think? Or You Think What You See?

本文是LLM系列文章，针对《HALLUSIONBENCH: You See What You Think? Or You Think What You See?》的翻译。

摘要

大型语言模型（LLM）在与视觉模型对齐并集成到视觉语言模型（VLM）中后，可以在图像推理任务中带来令人印象深刻的改进。最近发布的GPT-4V（ison）、LLaVA-1.5等表明了这一点。然而，这些SOTA LVLM中的强语言先验可能是一把双刃剑：它们可能忽略图像上下文，仅依赖（甚至矛盾的）语言先验进行推理。相反，VLM中的视觉模块比LLM弱，可能导致误导性的视觉表示，然后LLM将其转化为自信的错误。为了研究这两种类型的VLM错误，即语言幻觉和视觉幻觉，我们策划了“HALLUSIONBENCH，”一个图像上下文推理基准，即使对GPT-4V和LLaVA-1.5来说仍然具有挑战性。我们对HALLUSIONBENCH中的例子进行了详细分析，为VLM的幻觉或幻觉以及未来如何改进它们提供了新的见解。基准测试和代码库将发布在https://github.com/tianyi-lab/HallusionBench。

1 引言