Mitigating Hallucinations in Large Language Models via Causal Reasoning

论文《Mitigating Hallucinations in Large Language Models via Causal Reasoning》总结与翻译

一、文章主要内容总结

该研究聚焦大型语言模型（LLMs）中存在的“逻辑不一致幻觉”问题——即模型输出看似连贯，却违背推理原则。研究发现，LLMs的因果推理能力与这类幻觉存在负相关，因此提出核心问题：能否通过提升LLMs的因果推理能力来缓解幻觉？

1. 现有方法的局限性

现有推理方法（如Chain-of-Thought、Tree-of-Thought、Graph-of-Thought等）仅在语言token或语义层面建模依赖关系，无法捕捉变量间的因果关系，也不满足因果识别假设（如可交换性、一致性、 positivity），无法纠正因果关系误判（如颠倒因果方向、遗漏混淆变量），导致模型仍易产生逻辑不一致幻觉。

2. 核心解决方案

• CDCR-SFT框架：提出“因果DAG构建与推理监督微调框架”（Causal-DAG Construction and Reasoning Supervised Fine-Tuning），训练LLMs先构建变量级别的有向无环图（DAG），再基于该图进行推理。该框架能编码因果方向性和条件独立性，支持干预和反事实推理。
• CausalDR