Rendering Graphs for Graph Reasoning in Multimodal Large Language Models

828 篇文章

已下架不支持订阅

本文探讨了大型语言模型在图结构任务中的应用,提出将图结构转换为视觉图像以增强图形推理能力。新基准GITQA包含图、图像和文本描述,实验结果显示结合视觉和文本信息的模型在图推理任务上表现更优,特别是微调后的GITA模型超越了GPT-4V。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本文是LLM系列文章,针对《Rendering Graphs for Graph Reasoning in Multimodal Large Language Models》的翻译。

利用用多模态大型语言模型对图推理进行图绘制

摘要

大型语言模型(LLM)越来越多地用于具有图结构的各种任务,如机器人规划、知识图谱填充和常识推理。尽管LLM可以理解文本格式的图形信息,但它们忽略了丰富的视觉模态,这是人类理解结构信息和进行图形推理的直观方式。将图结构表示为视觉图像(即视觉图)的潜在好处和能力仍有待探索。在本文中,我们迈出了将视觉信息纳入图推理任务的第一步,并提出了一个新的基准GITQA,其中每个样本都是一个元组(图、图像、文本描述)。我们使用最先进的多模态LLM在GITQA基准上进行了广泛的实验。图形推理任务的结果表明,将文本和视觉信息结合在一起比单独使用一种模态表现得更好。此外,在训练集上微调的LLaVA-7B/13B模型(称为GITA)实现了比闭源模型GPT-4(V)更高的精度。我们还研究了增广在图推理中的作用。

1 引言

2 相关工作

3 构建视觉图

4 GITQA:图形图文问答的基准

已下架不支持订阅

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值