Visual Hallucinations of Multi-modal Large Language Models

本文是LLM系列文章，针对《Visual Hallucinations of Multi-modal Large Language Models》的翻译。

摘要

视觉幻觉（VH）是指多模态LLM（MLLM）在视觉问答中想象图像的错误细节。现有研究仅在现有图像数据集中发现VH实例，由于此类VH实例的多样性有限，导致对MLLM在VH下的性能理解存在偏差。在这项工作中，我们提出了一种称为VHTest的工具来生成一组不同的VH实例。具体而言，VHTest在现有图像数据集中找到一些初始VH实例（例如，COCO），为每个VH模式生成文本描述，并使用文本到图像生成模型（例如，DALL·e-3）基于文本描述生成VH图像。我们使用VHTest收集了一个基准数据集，其中包含8种VH模式下的1200个VH实例。我们发现，现有的MLLM，如GPT-4V、LLaVA-1.5和MiniGPT-v2，在我们的基准测试中的很大一部分实例中会产生幻觉。此外，我们发现使用我们的基准数据集对MLLM进行微调可以降低其产生幻觉的可能性，而不会牺牲其在其他基准测试上的性能。我们的基准在https://github.com/wenhuang2000/VHTest公开可用。

1 引言

2 定义

3 我们的VHTest

4 实验

5 相关工作

6 结论和未来工作

我们建议VHTest生成VH实例来测试MLLMs。我们使用VHTest收集VH基