DEVAL: A Framework for Evaluating and Improving the Derivation Capability of Large Language Models

一、文章主要内容总结

本文聚焦大型语言模型（LLMs）的推导能力（Derivation Capability, DC） 展开研究，核心围绕“LLMs能否识别输入变化与输出变化间的抽象规则（推导关系DR）并应用于问题解决”这一关键问题，主要内容如下：

1. 概念定义：正式定义“推导关系（DR）”为输入域变化（T）与输出域变化（R）的映射规则，推导能力（DC）则是LLMs遵循DR，在输入发生特定变化时对输出进行相应调整的能力。
2. 评估框架（DEVAL）：提出系统化评估框架DEVAL，通过“规则形式化（将任务规则转化为DR）→数据集构建（基于DR生成测试数据）→模型评估（量化输出是否符合DR）”三步流程，解决传统评估无法衡量“变化一致性”的缺陷。
3. 模型评估结果：基于7类任务（选择、图像、代码、逻辑、数学、算法、空间）和3类DR（ID恒等、GE通用、TS任务特定），评估6款主流模型（GPT-3.5/4o、Claude3.5、Qwen、Kimi、O1-mini），发现LLMs整体DC表现不佳（平均得分低于60%），其中O1-mini表现最优（69.8%），GPT-3.5最差（28.9%），且在任务特定DR（TS）上表现最差（34.3%）。
4. 错误分析：将LLMs的DC错误分为三类——未识别DR（DR-Unaware）、DR定位错误（DR-Mislocalized）、DR应用错误（DR-Misapplied），其中DR应用错误占比最高（54.57%），是主要改进方向。