论文翻译：arxiv-2024.Xu.Benchmarking Benchmark Leakage in Large Language Models

Benchmarking Benchmark Leakage in Large Language Models
https://arxiv.org/abs/2404.18824

Xu等人引入了使用两个简单且可扩展的指标，复杂性和n-gram准确性，来衡量基准模型的预测准确性，以识别潜在的数据泄露。来自：论文翻译：arxiv-2024 Training on the Benchmark Is Not All You Need

在大型语言模型中基准测试泄露的基准测试

图1：不同模型在基准测试的训练集上进行逐字训练相对于测试集以增强能力（基于PPL和N-gram准确性测量）的相对可能性。表现出接近零可能性的模型表明要么没有训练和测试分割，要么在训练过程中使用了这两个分割。这个指标并不意味着作弊，而是表明在（预）训练阶段可能使用了基准测试数据；虽然使用基准测试来增强能力是可以