Benchmarking Benchmark Leakage in Large Language Models

本文是LLM系列文章，针对《Benchmarking Benchmark Leakage in Large Language Models》的翻译。

摘要

随着预训练数据的广泛使用，基准数据集泄漏现象日益突出，不透明的训练过程和当代大型语言模型（LLM）中经常未公开的监督数据的包含加剧了这一现象。这个问题扭曲了基准的有效性，并助长了潜在的不公平比较，阻碍了该领域的健康发展。为了解决这个问题，我们引入了一种检测管道，利用困惑度和N-gram准确性——这两个简单且可扩展的指标来衡量模型在基准上的预测精度——来识别潜在的数据泄漏。通过在数学推理的背景下分析31个LLM，我们揭示了大量训练甚至测试集误用的情况，导致了潜在的不公平比较。这些发现促使我们就模型文档、基准设置和未来评估提出了几点建议。值得注意的是，我们提出了“基准透明度卡”（表19），以鼓励明确记录基准利用情况，促进LLM的透明度和健康发展。我们已经公开了我们的排行榜、管道实施和模型预测，以促进未来的研究。

1 引言

2 前言

3 检测方法

4 元实验：检测管道的可靠性

5 野外评估

6 模型文档和基准设置建议

7 相关工作

8 结论和局限性

在这项研究中，我们首先总结了与检测基准泄漏相关的各种典型训练行为和挑战。然后，我们介绍了一种简单、计算高效、可扩展的管道，该管道基于两个基本的泄漏检测指标，并通过元实验进行了验证。我们引入的n-gram