StatEval: A Comprehensive Benchmark for Large Language Models in Statistics

该文章提出首个统计学领域综合基准StatEval，覆盖基础到研究级任务，构建多智能体数据处理流程与精细评分框架，揭示当前大语言模型在统计推理上的不足，为提升模型统计智能提供方向。

一、文章主要内容总结

1. 背景与问题
   • 大语言模型（LLMs）在数学和逻辑推理上进步显著，但统计学作为数据科学基础，在模型评估中却未被充分关注。
   • 现有基准中统计问题占比不足3%，且多为孤立概率题，缺乏对统计推断等核心能力的结构化评估，无法判断模型能否胜任统计相关工作。
2. StatEval基准构建
   • 数据构成：包含两类数据集，一是13817道基础题，源自50余本教材与课程资料，覆盖本科到博士阶段；二是2374道研究级证明题，提取自18本顶级期刊2020-2025年论文。
   • 分类体系：按难度分为基础与研究级，按学科分为概率、统计、机器学习等30余个亚领域，支持对模型在不同统计领域能力的精细分析。
3. 技术流程与评分框架
   • 多智能体数据处理流程：含文件转换、语境分割、问题生成、质量控制四大智能体，结合人工验证，实现从学术资料到标准化评估数据的自动化转换，兼顾规模与严谨性。
   • 评分框架：选择题采用精确匹配评分；开放题通过推理步骤提取、结果提取、LLM判断