Benchmarking Long-Context Capability of Multimodal Large Language Models

本文是LLM系列文章，针对《Multimodal Needle in a Haystack: Benchmarking Long-Context Capability of Multimodal Large Language Models》的翻译。

摘要

多模态大型语言模型（MLLMs）在各种应用中显示出巨大的前景，引起了研究人员和从业者的广泛兴趣。然而，对其长期能力的全面评估仍然没有得到充分的探索。为了解决这些差距，我们引入了多模态大海捞针（MMNeedle）基准，专门用于评估MLLM的长上下文能力。除了多图像输入外，我们还使用图像拼接来进一步增加输入上下文长度，并开发了一个协议来自动生成标签，用于子图像级检索。从本质上讲，MMNeedle通过压力测试MLLMs在一组图像（Haystack）中定位目标子图像（针）的能力来评估MLLMs，该能力基于文本指令和图像内容的描述。这种设置需要对广泛的视觉上下文进行深入理解，并在长上下文图像输入中进行有效的信息检索。通过这个基准，我们评估了最先进的MLLMs，包括基于API和开源模型。研究结果表明，GPT-4o在长期场景中始终优于其他模型，但在阴性样本中，即当针头不在干草堆中时，会出现幻觉问题。我们对MLLMs的全面长期上下文评估也揭示了基于API的模型和开源模型之间的巨大性能差距。再现主要结果所需的所有代码、数据和说明在https://github.com/Wang-ML-Lab/multimodal-needle-in-a-haystack可用。

1 引言

2 相关工作

3 Haystack中的多模态针（MMNeedle）