本文是LLM系列文章,针对《EVALUATING LARGE LANGUAGE MODELS ON GRAPHS: PERFORMANCE INSIGHTS AND COMPARATIVE ANALYSIS》的翻译。
摘要
大型语言模型(LLM)在学术界和工业界都引起了极大的兴趣。然而,LLM在图形数据中的应用仍有待探索。在这项研究中,我们评估了四个LLM在用图形数据解决几个分析问题方面的能力。我们采用了四种不同的评估指标:理解、正确性、保真度和纠正。我们的研究结果表明:1)LLM能有效地理解自然语言中的图数据,并用图拓扑推理。2) GPT模型可以生成逻辑和连贯的结果,在正确性方面优于替代方案。3) 所有接受检查的LLM都面临着结构推理方面的挑战,零样本思维链和小样本提示等技术显示出效能下降。4) GPT模型在多答案任务中经常产生错误答案,这引发了对保真度的担忧。5) GPT模型对其输出表现出更高的信心,这可能会阻碍其整流能力。值得注意的是,GPT-4已经证明了纠正GPT-3.5-turbo及其之前迭代的响应的能力。该代码位于:https://github.com/Ayame1006/LLMtoGraph.