2025_NIPS_EvaLearn: Quantifying the Learning Capability and Efficiency of LLMs via Sequential Proble

EvaLearn 论文核心总结与翻译

一、主要内容

EvaLearn 是一款创新基准测试，专注于评估大型语言模型（LLMs）在特定任务中的学习能力和效率。它包含 648 个高难度问题，分为 6 类任务（摘要、分类、提取、逻辑推理、数学推理、序列推理），并组织成 182 个序列，每个序列含 7 个同类型关联问题。

通过“序列求解”范式，要求模型依次解决序列中的问题，利用前期解题经验提升后续表现。同时设计了 5 个核心评估指标（整体序列准确率、准确率曲线斜率、首次正确解答位置、首次习得正确解答偏移量、连续正确解答次数、预热后准确率），全面量化模型的动态学习能力。

对 9 款前沿模型的测试发现：思维型模型（如 OpenAI-o3-mini）在学习能力和稳定性上整体更优；反馈学习比演示学习更能促进模型进步；模型的静态能力与学习能力无强相关性；数学推理、分类等任务更易通过经验学习提升，而摘要任务更依赖预训练知识。

二、创新点

1. 范式创新：突破传统“并行评估”局限，提出“序列求解”范式，首次系统性量化模型在任务内的动态学习能力与效率。
2. 数据集设计：从零构建高难度、关联式问题序列，覆盖 6 类核心任务，配套人工编写的实例级评分标准（rubrics），确保评估可靠性。
3. 评估体系：设计 5 个 decoupled 于具体学习方法的指标，全面捕捉模型学习的速度、稳定性、初始能力等多维特征。
4. 实证发现：揭示了思维型模型的学习优势、反馈学习的有效性，以及学习能力与静态能力的独立性，为模型优化提供新方向。