How Much Do Large Language Model Cheat on Evaluation? Benchmarking Overestimation under the One-T...

文章主要内容总结

本文聚焦大型语言模型（LLMs）评估中的“高估”问题，即由于公开基准数据污染或训练不平衡，LLMs在公开基准上的表现可能被不实抬高，导致不公平比较和能力误判。现有评估方法存在可重复性、透明度或效率不足的问题，且无法量化高估程度。

为此，作者提出动态评估框架ArxivRoll，其核心包括两部分：

• SCP（Sequencing, Cloze, and Prediction）：一种自动生成私有测试案例的方法，基于ArXiv平台最新论文，通过句子排序、完形填空、续写预测三种任务生成高质量、未被模型见过的测试案例；
• Rugged Scores（RS）：量化高估程度的指标，包括RS_I（衡量模型在公开与私有基准上的性能差异，反映数据污染程度）和RS_II（衡量模型在不同私有基准上的性能方差，反映训练偏误程度）。

ArxivRoll每六个月利用ArXiv最新论文生成新的私有基准（ArxivRollBench），用于一次性评估，评估后公开基准以确保可重复性。实验验证了该框架生成的基准质量高、与现有私有基准相关性强，并对当前主流LLMs进行了系统评估，揭示了部分模型的高估现象。

创新点总结

1. SCP策略：基于ArXiv最新论文自动生成高质量、动态更新的私有测试案例，解决了传统基准易污染、缺乏时效性的问题；
2. Rugged Scor