本文是LLM系列文章,针对《Rendering Graphs for Graph Reasoning in Multimodal Large Language Models》的翻译。
摘要
大型语言模型(LLM)越来越多地用于具有图结构的各种任务,如机器人规划、知识图谱填充和常识推理。尽管LLM可以理解文本格式的图形信息,但它们忽略了丰富的视觉模态,这是人类理解结构信息和进行图形推理的直观方式。将图结构表示为视觉图像(即视觉图)的潜在好处和能力仍有待探索。在本文中,我们迈出了将视觉信息纳入图推理任务的第一步,并提出了一个新的基准GITQA,其中每个样本都是一个元组(图、图像、文本描述)。我们使用最先进的多模态LLM在GITQA基准上进行了广泛的实验。图形推理任务的结果表明,将文本和视觉信息结合在一起比单独使用一种模态表现得更好。此外,在训练集上微调的LLaVA-7B/13B模型(称为GITA)实现了比闭源模型GPT-4(V)更高的精度。我们还研究了增广在图推理中的作用。