Evaluating Large Language Models on Graphs: Performance Insights and Comparative Analysis

本文是LLM系列文章，针对《EVALUATING LARGE LANGUAGE MODELS ON GRAPHS: PERFORMANCE INSIGHTS AND COMPARATIVE ANALYSIS》的翻译。

摘要

大型语言模型（LLM）在学术界和工业界都引起了极大的兴趣。然而，LLM在图形数据中的应用仍有待探索。在这项研究中，我们评估了四个LLM在用图形数据解决几个分析问题方面的能力。我们采用了四种不同的评估指标：理解、正确性、保真度和纠正。我们的研究结果表明：1）LLM能有效地理解自然语言中的图数据，并用图拓扑推理。2） GPT模型可以生成逻辑和连贯的结果，在正确性方面优于替代方案。3） 所有接受检查的LLM都面临着结构推理方面的挑战，零样本思维链和小样本提示等技术显示出效能下降。4） GPT模型在多答案任务中经常产生错误答案，这引发了对保真度的担忧。5） GPT模型对其输出表现出更高的信心，这可能会阻碍其整流能力。值得注意的是，GPT-4已经证明了纠正GPT-3.5-turbo及其之前迭代的响应的能力。该代码位于：https://github.com/Ayame1006/LLMtoGraph.

1 引言

2 问题定义

3 提示工程

4 实验

5 结果

6 比较研究

7 相关工作

8 结论

在本研究中，我们进行了一项全面的调查，旨在评估几个LL