本文探讨了大型语言模型（LLM）评估基准中的数据泄漏问题，指出这种现象可能导致评估结果不可靠。通过对基准泄漏的实证研究，作者揭示了其对模型性能评估的潜在风险，并提出改进评估基准使用的建议，包括检测数据污染和使用多任务提示。文章呼吁关注LLM的公平训练和评估。
本文是LLM系列文章，针对《Don’t Make Your LLM an Evaluation Benchmark Cheater》的翻译。
不要让你的LLM成为评估基准骗子
摘要
大型语言模型（LLM）极大地推进了人工智能的前沿，在模型能力方面取得了显著的提高。为了评估模型性能，一种典型的方法是构建评估基准，以衡量LLM在不同方面的能力水平。尽管已经发布了一些高质量的基准，但人们越来越担心这些基准的适当使用以及不同模型的公平比较。考虑到这些问题，在本文中，我们讨论了不恰当地使用评估基准和误导性地解释评估结果的潜在风险和影响。特别是，我们关注的是一个会导致不适当评估的特殊问题，即基准泄漏，指的是与评估集相关的数据偶尔用于模型训练。这种现象现在变得更加普遍，因为预训练数据通常是在模型测试之前准备的。我们进行了广泛的实验来研究基准杠杆的影响，发现它可以显著提高评估结果，最终导致对模型性能的评估不可靠。为了改进现有评估基准的使用，我们最后为LLM开发人员和基准维护人员提供了一些指导方针。我们希望这项工作能够引起人们对LLM适当训练和评估的关注。
已下架不支持订阅
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
