Rendering Graphs for Graph Reasoning in Multimodal Large Language Models

本文是LLM系列文章，针对《Rendering Graphs for Graph Reasoning in Multimodal Large Language Models》的翻译。

摘要

大型语言模型（LLM）越来越多地用于具有图结构的各种任务，如机器人规划、知识图谱填充和常识推理。尽管LLM可以理解文本格式的图形信息，但它们忽略了丰富的视觉模态，这是人类理解结构信息和进行图形推理的直观方式。将图结构表示为视觉图像（即视觉图）的潜在好处和能力仍有待探索。在本文中，我们迈出了将视觉信息纳入图推理任务的第一步，并提出了一个新的基准GITQA，其中每个样本都是一个元组（图、图像、文本描述）。我们使用最先进的多模态LLM在GITQA基准上进行了广泛的实验。图形推理任务的结果表明，将文本和视觉信息结合在一起比单独使用一种模态表现得更好。此外，在训练集上微调的LLaVA-7B/13B模型（称为GITA）实现了比闭源模型GPT-4（V）更高的精度。我们还研究了增广在图推理中的作用。

1 引言

2 相关工作

3 构建视觉图

4 GITQA：图形图文问答的基准

5 实验

6 结论

在本文中，我们提出了一种新的多模态图推理基准GITQA，它包含了视觉和文本上下文。我们进行了实验来研究视觉信息对图推理的影响。大量结果表明，将视觉和文本模态相结