大模型的因果推理：模拟、局限与未来

当前的大模型（LLMs）普遍被认为没有真正的因果概念。它们并非通过理解事物间的内在机制进行推理，而是通过在海量数据中学习到的统计规律来模拟因果推理。这种模拟能力在处理常见、模式化的因果问题时表现良好，但在需要深度逻辑、反事实思考或处理复杂、新颖场景时，其局限性便会暴露，表现为准确率偏低和“因果幻觉”等问题。尽管存在这些局限，但通过改进训练方法（如公理训练）、融合因果结构（如因果图）和构建因果世界模型等技术路径，未来大模型发展出真正的因果推理能力是有可能的。

1. 核心问题：大模型是否拥有“因果概念”？

1.1 当前大模型的本质：统计规律的学习者

当前的大型语言模型（LLMs），包括GPT系列、Gemini和Llama等，其核心能力建立在海量数据上的概率建模。它们通过学习文本中词语、短语和句子之间的共现模式，来预测序列中的下一个词元（token）。这种机制使得模型在语言生成、摘要、翻译等任务上表现出色，但其本质仍然是识别和利用统计相关性，而非理解事物之间内在的因果机制。一篇2024年10月的综述性研究明确指出，尽管LLMs取得了巨大成功，但它们仍然依赖于概率建模，这常常导致其捕捉到根植于语言模式和社会刻板印象的虚假相关性，而非实体和事件之间真实的因果关系 。这种基于相关性的学习方式，使得模型在面对需要真正因果理解的任务时，表现出固有的脆弱性。例如，模型可能会因为训练数据中“冰淇淋销量”和“溺水事件”常常同时出现，而错误地认为两者之间存在因果关系，而忽略了“气温升高”这一共同的潜在原因。

这种对统计规律的依赖，决定了大模型在处理信息时，更像是一个复杂的模式匹配器，而非一个具备逻辑推理能力的智能体。它们能够生成在语法和语义上看似合理的文本，但其内容的真实性、逻辑性和因果一致性并不能得到保证。一篇2023年11月的研究从因果视角分析了大模型的“幻觉”问题，指出其根源在于模型缺乏对真实世界因果结构的建模能力，只能依赖于训练数据中的表面模式进行“猜测” 。因此，当遇到训练数据中未曾出现或模式不明显的因果问题时，模型便容易产生错误的推断，即“因果幻觉”。这表明，尽管大模型能够处理和生成关于因果关系的文本，但它们并不具备人类所拥有的那种深刻的、基于世界知识的因果概念。

1.2 模拟而非理解：通过模式匹配进行“因果推理”

大模型在执行因果推理任务时，其表现更像是一种高级的“模拟”或“模仿”，而非真正的理解。它们通过分析输入的提示（prompt），在庞大的知识库中寻找与之匹配的模式，并生成最可能的回答。例如，当被问及“吸烟是否会导致肺癌？”时，模型并非通过理解吸烟对肺部细胞的生物学影响来得出结论，而是因为它在训练数据中无数次地看到了“吸烟”和“肺癌”这两个概念以“原因-结果”的形式同时出现。一篇2023年4月的研究对LLMs的因果能力进行了行为学研究，发现它们能够以高概率生成符合正确因果论证的文本，在某些基准测试中甚至超过了现有算法 。然而，这种能力被一些研究者形容为“因果鹦鹉”（causal parrots），即模型能够复述因果知识，但并不真正理解或应用它 。

这种模拟能力在处理常见的、在训练数据中被广泛覆盖的因果对时非常有效。例如，在成对因果发现任务中，LLMs在Tübingen基准测试中取得了97%的准确率，远超传统算法 。然而，这种成功是建立在模型对变量描述的文本元数据进行推理的基础之上，而非直接分析数据本身 。这意味着模型的“推理”能力高度依赖于其训练语料库的质量和覆盖范围。当面对新颖、复杂或反直觉的因果场景时，这种基于模式匹配的模拟机制就会失效。例如，在进行反事实推理（如“如果我没有吸烟，我还会得癌症吗？”）时，尽管GPT-4在特定基准测试中达到了92%的准确率，但这种能力仍然是不稳定和不可预测的 。模型可能会在一种情境下给出正确的答案，但在稍作修改的另一种情境下就犯下基本的逻辑错误，这暴露了其缺乏真正的、可泛化的因果理解能力 。

1.3 研究共识：缺乏真正的因果概念

综合当前学术界的研究，一个普遍的共识是：现有的大语言模型，无论其规模多大、性能多强，都尚未发展出真正的因果概念。它们缺乏对“干预”（intervention）和“反事实”（counterfactual）这两个因果推理核心概念的内在表征。根据朱迪亚·珀尔（Judea Pearl）的因果阶梯理论，因果推理分为三个层次：关联（seeing/observation）、干预（doing/intervention）和反事实（imagining/counterfactuals）。目前的大模型主要停留在第一层次，即通过观察数据学习关联性。它们无法真正理解“如果我对系统施加一个干预，会发生什么？”（干预层次），也无法可靠地回答“如果过去的事情有所不同，现在会怎样？”（反事实层次）。

一篇2024年10月的综述论文系统地探讨了如何将因果性融入LLM的整个生命周期，从词元嵌入学习到基础模型训练、微调、对齐、推理和评估 。该研究指出，目前大多数努力仍然依赖于人类干预来激活预训练模型的因果知识，例如通过提示工程（prompt engineering）或构建专门的基准测试来评估其因果推理能力。然而，如何从根本上将因果性嵌入到模型的训练过程中，构建更通用、更智能的模型，仍然是一个未被充分探索的领域 。另一项研究也强调，尽管LLMs在生成因果论证方面表现出色，但它们表现出不可预测的失败模式，其能力不能完全用数据集记忆来解释，但也远未达到真正的因果理解 。因此，尽管大模型在模拟因果推理方面取得了令人瞩目的进展，但它们距离拥有真正的因果概念，即能够像人类一样理解、解释和运用因果关系，还有很长的路要走。

2. 当前大模型在因果推理方面的实际表现与局限性

2.1 实际表现评估

2.1.1 在标准因果推理任务上的准确率偏低

尽管大型语言模型（LLMs）在多个领域展现出卓越的性能，但在标准的因果推理任务上，其准确率往往不尽如人意，尤其是在与专门的因果推断算法相比时。一项研究对多个主流LLMs（包括GPT-3.5-turbo、GPT-4o和Claude 3.5）在十个不同的因果推理场景下进行了系统性评估。结果显示，即使使用了思维链（Chain-of-Thought, CoT）等提示工程技术来提升模型的推理能力，其在许多任务上的准确率仍然偏低，并且表现出较大的性能波动 。例如，在某些任务中，GPT-4o的准确率可以达到100%，但在另一些任务中，其准确率可能低至33%。这种不稳定性表明，模型的“因果推理”能力高度依赖于任务的特定形式和其在训练数据中的覆盖程度。当任务需要模型进行多步逻辑推导或处理复杂的因果结构时，其性能往往会显著下降。这进一步印证了当前LLMs在因果推理方面的能力是有限的，它们更多地是在模仿训练数据中的模式，而非进行真正的逻辑推理。

模型	任务1	任务2	任务3	任务4	任务5	任务6	任务7	任务8	任务9	任务10
GPT-3.5-turbo	89.8	54.0	72.0	41.8	52.4