CaLM 因果推理评测体系：如何让大模型更贴近人类认知水平？

CaLM 是什么

CaLM（Causal Evaluation of Language Models，以下简称“CaLM”）是上海人工智能实验室联合同济大学、上海交通大学、北京大学及商汤科技发布首个大模型因果推理开放评测体系及开放平台。首次从因果推理角度提出评估框架，为 AI 研究者打造可靠评测工具，从而为推进大模型认知能力向人类水平看齐提供指标参考。

因果推理是人类认知能力最重要的特征之一，提升因果推理能力被视为由机器智能迈向人类智能水平的关键步骤。为对大模型进行科学有效的因果推理能力评估，上海人工智能实验室联合团队在 CaLM 中提出包含因果评估目标（Causal Target）、评估方式（Adaptation）、评估标准（Metric）及错误分析（Error）的评估框架，同时构建了超过12万道题目的中英文数据集。

基于 CaLM，联合团队首次对 28 个当前主流大模型进行了因果推理能力评测，共产生了 50 项实证性发现，本文摘录其中 6 个结论。相关论文共 315 页，可查看文末链接，或登录网页查阅下载。

CaLM 评估框架

（CaLM 评估框架） 

CaLM 采用了一套灵活、易扩展的评估框架，并按照预设实施顺序进行评测：因果评估目标（Causal Target）→评估方式（Adaptation）→评估标准（Metric）→错误分析（Error）。CaLM 的评估框架设计与实施流程，还可应用于数学推理、专业知识及长文本处理等模型能力评估体系构建。

自下而上的因果评估目标