2025_NIPS_Can Language Models Solve Graph Problems in Natural Language?

文章总结与翻译

一、主要内容

1. 研究背景与核心问题：大型语言模型（LLMs）已被广泛应用于含隐式图形结构的任务，但能否明确处理图的文本描述、映射到概念空间并执行结构化操作仍未被充分探索。
2. NLGraph基准数据集构建：提出NLGraph（自然语言图）基准，包含29,370个问题，覆盖8类图推理任务（从连通性、最短路径等简单任务到最大流、图神经网络模拟等复杂任务），每个任务分易、中、难子集，通过节点数量、图稀疏性等控制难度，并设计精确匹配和部分学分评估指标。
3. 实验发现：
   • LLMs具备初步图推理能力，在简单任务上比随机基线高37.33%-57.82%，思维链（CoT）等提示能提升性能并生成合理中间步骤；
   • 高级提示方法（CoT、自一致性等）在复杂任务上效果减弱甚至适得其反；
   • 上下文学习在复杂任务中无效，增加示例可能降低性能；
   • LLMs易受虚假相关性影响，在连通性任务的链状和完全子图集上性能下降超40%。
4. 优化方法：提出两种基于指令的提示策略——Build-a-Graph Prompting（先构建图概念空间）和Algorithmic Prompting（先回顾任务算法），在多个任务上提升性能3.07%-16.85%，但复杂任务仍需进一步研究。

二、创新点

<