Knowing the Facts but Choosing the Shortcut: Understanding How Large Language Models Compare Enti...

一、文章主要内容总结

本文围绕大语言模型（LLMs）在实体数值属性比较任务中的行为展开研究，核心探究模型何时依赖真实知识推理、何时依赖表面启发式捷径。主要内容如下：

1. 研究背景与问题：针对LLMs“世界模型论”（内化世界结构化知识）与“统计鹦鹉论”（依赖表面线索）的争议，聚焦实体数值比较任务（如“多瑙河与尼罗河哪条更长”），这类任务具有明确客观真值，便于系统分析模型推理逻辑。
2. 核心发现：
   • 尽管LLMs具备足够的数值知识（数值预测准确率显著高于 pairwise 比较准确率），但在实体比较时频繁违背自身数值知识，依赖表面启发式偏差。
   • 识别出三类关键偏差：实体流行度（“名气即更大”）、提及顺序（ prompt 中实体位置）、语义共现（与属性相关形容词的共现统计）。
   • 模型规模影响推理策略选择：大模型（32B参数）会在数值知识更可靠时优先依赖，小模型（7-8B参数）则无此辨别能力，这也是大模型表现更优的核心原因（而非数值知识更准确）。
   • 思维链（CoT）提示能引导所有规模模型更多使用数值特征，缩小不同规模模型的性能差距，但无法完全消除不一致（部分推理存在“合理化而非真实计算”现象）。
3. 实验设计：
   • 数据集：涵盖10类数值属性（如原子序数、河流长度、城市人口等），采用平衡正交子集（BOS）设计，隔离各类偏差与真实知识的影响。
   • 模型：测试Llama3、OLMo2、Qwen3、Mistra