Plug-and-Play Grounding of Reasoning in Multimodal Large Language Models

本文是LLM系列文章，针对《Plug-and-Play Grounding of Reasoning in Multimodal Large Language Models》的翻译。

摘要

以其先进的指令遵循和推理能力而闻名的多模态大型语言模型（MLLMs）的兴起，极大地推动了视觉推理领域的发展。然而，由于其图像标记化过程的局限性，大多数MLLM难以捕捉图像中文本和对象的精细细节，尤其是在高分辨率样本中。为了克服这一限制，我们引入了P2G，这是一种用于MLLMs即插即用接地的新框架。P2G利用MLLM的工具使用潜力，使用专家代理将推理动态地嵌入图像中的关键视觉和文本元素，从而通过多模态提示实现深思熟虑的推理。此外，我们开发了P2GB，这是一个基准测试，旨在评估MLLM在理解具有挑战性的高分辨率图像中的对象间关系和文本内容方面的熟练程度。在视觉推理任务上的大量实验证明了P2G的优越性，在具有7B主干的P2GB上实现了与GPT-4V相当的性能。我们的工作强调了在MLLMs中使用外部代理进行基础推理的潜力，为单纯的模型缩放提供了一种很有前途的替代方案。

1 引言

2 方法

3 P2GB基准

4 实验

5 分析

6 结论

在本文中，我们重点讨论了多模态大型语言模型的视觉推理基础的挑战。为了解决大多数现有工作严重依赖问答对进行指令调整的局限性，我们提出了P2G，这是一种新的视觉推理即插即用框架。专注于深思熟虑的思考，P2G会迅速对外部代理发出呼吁，要求在图像中提供详细的文本和视觉线索，从而执行更好的推理。此外，我们提出了P2GB，这是一个具