
文章核心内容总结
ThinkBench 是一款针对大型语言模型(LLMs)推理能力的动态分布外(OOD)评估框架,核心解决数据污染和答案泄露导致的评估失真问题。框架通过场景级和攻击级半事实数据生成方法,构建了含2912个样本的OOD数据集(源自AIME数学题和GPQA科学题),统一支持推理型与非推理型模型评估。实验对16个LLMs和4个PRMs验证发现:多数模型推理鲁棒性不足,存在明显数据泄露(如AIME-500的OOD性能平均下降24.9%);推理型模型(如o1、o3、Deepseek-R1)表现更优,但仍需优化;模型参数规模与鲁棒性呈正相关,且OOD数据集可有效用于测试时计算预算评估。
创新点
- 提出动态OOD数据生成方案:基于半事实因果理论,设计场景级(重构问题场景但保留逻辑)和攻击级(注入文本噪声、冗余信息)两种生成方法, decouple推理能力与记忆依赖。
- 统一评估体系:首次同时支持推理型与非推理型模型的鲁棒性评估,覆盖数学推理、科学问答等多类任务。
- 验证数据泄露与鲁棒性规律:通过AIME-500与2024年AIME数据的性能差距,证实历史数据泄露问题;揭示模型参数、测试时计算预算对鲁棒性的影响。
- 高可靠性数据集:经人工与自动化验证,OOD数据与原始数据的逻辑一致性达80%以上,答案对齐率100%。
订阅专栏 解锁全文
1307



被折叠的 条评论
为什么被折叠?



