2025_NIPS_Evaluating Cognitive Maps and Planning in Large Language Models with CogEval

文章核心总结与创新点

一、主要内容

1. 研究背景：近年来诸多研究声称大型语言模型（LLMs）具备涌现的认知能力，但多数依赖轶事证据，忽视训练集污染问题，且缺乏包含多任务、控制条件、多轮迭代和统计稳健性检验的系统性评估。
2. 核心贡献：
   • 提出CogEval协议：一种受认知科学启发的LLMs认知能力系统性评估方案，可用于评估规划、心理理论、因果推理等多种认知能力。
   • 基于CogEval协议，对8款LLMs（含GPT-4、GPT-3.5-turbo-175B、Google Bard等）的认知地图与规划能力开展系统性评估，任务提示基于人类实验设计（确保无训练集污染），涵盖空间、社会关系、物体关系等多个领域，涉及价值导向规划、奖励重评估、捷径寻找、绕行等多种任务条件。
3. 关键发现：
   • LLMs仅在结构简单、可通过路径记忆解决的任务中表现出表面竞争力。
   • 系统性评估揭示LLMs在规划任务中存在显著失效模式，包括虚构无效路径、陷入循环、生成非最优长路径等。
   • 温度参数对LLM规划性能无显著影响，而模型类型、图结构、任务领域和任务条件及其交互作用对性能影响显著。
   • 现有LLMs缺乏“开箱即用”的涌现性规划能力，根源可能是无法理解规划问题背后的潜在关系结构（即认知地图），难以基于该结构展开目标导向的路径推理。