Data Contamination and Trustworthy Evaluation for Large Language Models

本文是LLM系列，针对《Generalization or Memorization: Data Contamination and Trustworthy Evaluation for Large Language Models》的翻译。

摘要

最近关于大型语言模型（LLM）令人印象深刻的功能的声明通常通过对开放访问基准的评估来支持。考虑到LLM训练数据的庞大规模和广泛来源，它可能明确或隐含地包括测试数据，导致LLM更容易受到数据污染。然而，由于训练数据的不透明性、模型的黑匣子访问以及合成训练数据的快速增长，LLM的数据污染检测和缓解面临着重大挑战。在本文中，我们提出了CDD，它代表通过LLM的输出分布进行污染检测。CDD只需要采样文本，就可以通过识别LLM输出分布的峰值来检测数据污染。为了减轻评估中数据污染的影响，我们还提出了TED：基于LLM输出分布的可信评估。为了促进这项研究，我们引入了两个基准，即DETCON和COMIEVAL，用于数据污染检测和污染缓解评估任务。广泛的实验结果表明，在准确性、F1评分和AUC指标方面，CDD比其他污染检测方法实现了21.8%-30.2%的平均相对改善，并且可以有效地检测由测试数据变体引起的污染。TED显著降低了由于24个设置和21个污染程度的数据污染而导致的高达66.9%的性能改进。在现实世界的应用程序中，我们揭示了ChatGPT在HumanEval基准测试中表现出遭受数据污染的高潜力。

1 引言

2 动机示例

3 方法

<