2025_NIPS_CLadder: Assessing Causal Reasoning in Language Models

文章主要内容总结

本文聚焦大型语言模型（LLMs）的形式化因果推理能力评估，核心解决现有研究多关注常识性因果知识、缺乏对形式化因果推理规则遵循的问题。作者提出新NLP任务（自然语言中的因果推理）、构建CLADDER数据集（10K样本，覆盖因果阶梯三层任务），并设计CAUSALCOT提示策略。实验显示，CLADDER对LLMs极具挑战性，CAUSALCOT能将GPT-4准确率提升8.37个百分点至70.40%，且模型性能随因果阶梯层级升高而递减，揭示了LLMs在高阶因果推理中的局限性。

创新点

1. 任务创新：首次提出“形式化因果推理”评估任务，区别于传统常识性因果推理，要求模型遵循Pearl的因果推理规则（如do-演算、反事实推理）。
2. 数据集创新：构建CLADDER数据集，涵盖因果阶梯三层（关联、干预、反事实），包含常识性、反常识性、无意义三种因果关系场景，提供带分步解释的标准答案，避免数据污染影响。
3. 方法创新：设计CAUSALCOT提示策略，模拟因果推理引擎的工作流程，引导LLMs分步骤完成因果图提取、查询类型分类、符号化形式化、数据收集、估计量推导和计算，强化形式化推理能力。
4. 全面评估：对8个主流LLMs（含GPT系列、LLaMa等）进行评估，分析不同模型、不同因果层级、不同常识对齐度下的性能差异，深入剖析LLMs的推理缺陷。

---