Don’t Make Your LLM an Evaluation Benchmark Cheater

本文是LLM系列文章，针对《Don’t Make Your LLM an Evaluation Benchmark Cheater》的翻译。

摘要

大型语言模型（LLM）极大地推进了人工智能的前沿，在模型能力方面取得了显著的提高。为了评估模型性能，一种典型的方法是构建评估基准，以衡量LLM在不同方面的能力水平。尽管已经发布了一些高质量的基准，但人们越来越担心这些基准的适当使用以及不同模型的公平比较。考虑到这些问题，在本文中，我们讨论了不恰当地使用评估基准和误导性地解释评估结果的潜在风险和影响。特别是，我们关注的是一个会导致不适当评估的特殊问题，即基准泄漏，指的是与评估集相关的数据偶尔用于模型训练。这种现象现在变得更加普遍，因为预训练数据通常是在模型测试之前准备的。我们进行了广泛的实验来研究基准杠杆的影响，发现它可以显著提高评估结果，最终导致对模型性能的评估不可靠。为了改进现有评估基准的使用，我们最后为LLM开发人员和基准维护人员提供了一些指导方针。我们希望这项工作能够引起人们对LLM适当训练和评估的关注。

1 引言

2 基准泄漏的实证研究

3 基准泄露的潜在风险

4 讨论

5 结论

在本文中，我们进行了实证研究，以调查潜在风险以及基准泄漏对LLM评估的影响。我们发现，数据泄露会在很大程度上提高LLM（即使是小模型）的基准结果，使评估变得不公平和不可信。这些发现表明，应严格避免这种尝试，以便公平评估模型在评价基准上的表现。
尽管这一问题很难从训练前阶段完全消除，但我们提出了一些有用的指导方针，以改进现有评估基准的使用。一个关键点是，LLM开发人员