BLINK : Multimodal Large Language Models Can See but Not Perceive

本文是LLM系列文章，针对《BLINK : Multimodal Large Language Models Can See but Not Perceive》的翻译。

摘要

我们介绍Blink，这是一种新的多模态语言模型（LLM）基准，侧重于其他评估中没有的核心视觉感知能力。大多数Blink任务都可以由人类“在眨眼之间”解决（例如，相对深度估计、视觉对应、取证检测和多视图推理）。然而，我们发现这些对感知要求很高的任务给当前的多模态LLM带来了重大挑战，因为它们抵制通过自然语言进行调解。Blink将14个经典的计算机视觉任务重新格式化为3807个选择题，并配以单个或多个图像和视觉提示。虽然人类的平均准确率为95.70%，但眨眼对现有的多模态LLM来说是一个令人惊讶的挑战：即使是表现最好的GPT-4V和Gemini也能达到51.26%和45.72%的准确率，仅比随机猜测高13.17%和7.63%，这表明这种感知能力在最近的多模态LL中还没有“出现”。我们的分析还强调，专业的CV模型可以更好地解决这些问题，为未来的改进提供了潜在的途径。我们相信Blink将激励社区帮助多模态LLM赶上人类水平的视觉感知。

1 引言

2 相关工作

3 Blink基准

4 实验

5 结论

我们引入了Blink，这是一个新的多模态LLM基准，用于评估现有评估中没有的核心视觉感知能力。虽然这些任务对人类来说似乎微不足道，但我们发现它们对当前的多模态LLM构成了重大挑战。即使是功能强大的GPT-4V和Gemini模型在Blink上也只能达到约50%的准确率，远低于人类95.7%的表现。我们进行了广泛的