A Comprehensive Benchmark for Multimodal Large Language Model Reasoning over Image Sequences

UnknownBody

于 2024-03-05 15:10:05 发布

阅读量270

点赞数 4

分类专栏： Multimodal 文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/136479375

版权

LLM 日更同时被 2 个专栏收录

828 篇文章

已下架不支持订阅

Multimodal

114 篇文章

订阅专栏

Mementos是一个新的基准，用于测试多模态大型语言模型（MLLMs）处理图像序列推理的能力。通过对九种最新MLLMs的评估，发现它们在描述动态信息时存在物体和行为的幻觉问题。研究识别出影响推理的三个关键因素，并提出了未来研究的方向，包括数据集多样化、评估流程优化和幻觉缓解策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《Mementos: A Comprehensive Benchmark for Multimodal Large
Language Model Reasoning over Image Sequences》的翻译。

摘要

多模态大型语言模型（MLLMs）已经证明能够熟练处理各种视觉语言任务。然而，目前的MLLM基准主要用于评估基于单个图像的静态信息的推理，而现代MLLM从图像序列中推断的能力，这对理解我们不断变化的世界至关重要，但研究较少。为了应对这一挑战，本文介绍了Mementos，这是一种旨在评估MLLMs序列图像推理能力的新基准。Mementos以4761个不同长度的不同图像序列为特征。我们还使用GPT-4辅助的方法来评估MLLM的推理性能。通过仔细评估Mementos上最近的九种MLLMs，包括GPT4V和Gemini，我们发现它们很难准确描述给定图像序列的动态信息，经常导致对象及其相应行为的幻觉/误传。我们的定量分析和案例研究确定了影响MLLMs序列图像推理的三个关键因素：对象和行为幻觉之间的相关性、共现行为的影响以及行为幻觉的复合影响。我们的数据集在https://github.com/umd-huanglab/Mementos上可用。