Visual Hallucinations of Multi-modal Large Language Models

最新推荐文章于 2025-11-24 18:29:32 发布

UnknownBody

最新推荐文章于 2025-11-24 18:29:32 发布

阅读量225

点赞数 4

CC 4.0 BY-SA版权

分类专栏： LLM hallucination 文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/136683956

LLM 日更同时被 2 个专栏收录

828 篇文章

已下架不支持订阅

LLM hallucination

34 篇文章

订阅专栏

本文介绍了VHTest工具，用于生成多模态大型语言模型在视觉问答中产生的视觉幻觉实例。通过该工具，研究人员发现即使是最先进的模型如GPT-4V、LLaVA-1.5和MiniGPT-v2也会产生幻觉。通过微调，可以减少幻觉而不会损害模型的其他性能。VHTest基准数据集已在GitHub上公开，未来目标是实现完全自动化。

本文是LLM系列文章，针对《Visual Hallucinations of Multi-modal Large Language Models》的翻译。

摘要

视觉幻觉（VH）是指多模态LLM（MLLM）在视觉问答中想象图像的错误细节。现有研究仅在现有图像数据集中发现VH实例，由于此类VH实例的多样性有限，导致对MLLM在VH下的性能理解存在偏差。在这项工作中，我们提出了一种称为VHTest的工具来生成一组不同的VH实例。具体而言，VHTest在现有图像数据集中找到一些初始VH实例（例如，COCO），为每个VH模式生成文本描述，并使用文本到图像生成模型（例如，DALL·e-3）基于文本描述生成VH图像。我们使用VHTest收集了一个基准数据集，其中包含8种VH模式下的1200个VH实例。我们发现，现有的MLLM，如GPT-4V、LLaVA-1.5和MiniGPT-v2，在我们的基准测试中的很大一部分实例中会产生幻觉。此外，我们发现使用我们的基准数据集对MLLM进行微调可以降低其产生幻觉的可能性，而不会牺牲其在其他基准测试上的性能。我们的基准在https://github.com/wenhuang2000/VHTest公开可用。