A Taxonomy for Data Contamination in Large Language Models

本文是LLM系列文章，针对《A Taxonomy for Data Contamination in Large Language Models》的翻译。

摘要

在广泛的 Web 语料库上预训练的大型语言模型在各种下游任务中表现出卓越的性能。然而，人们越来越担心数据污染，其中评估数据集可能包含在预训练语料库中，从而夸大了模型性能。去污，即检测和删除此类数据的过程，是一种潜在的解决方案;然而，这些污染物可能来自测试集的更改版本，在净化过程中逃避检测。不同类型的污染如何影响语言模型在下游任务上的性能尚不完全清楚。我们提出了一个分类法，对 LLM 在预训练阶段遇到的各种类型的污染进行分类，并确定哪些类型构成最高风险。我们分析了污染对两个关键 NLP 任务（总结和问答）的影响，揭示了不同类型的污染如何影响评估过程中的任务性能。

1 引言

2 分类

3 方法

4 案例研究：摘要

5 案例研究：问答

6 分析

7 结论

我们的分析强调了数据格式的重要性，当预训练数据与评估格式匹配时，模型的性能会更好。我们还观察到特定于任务的影响，某些污染方法比其他方法更有利于特定任务。此外，我们发现，如果一些后期训练前污染以与下游任务截然不同的形式发生，那么它实际上可能对下游性能没有帮助。我们的研究结果强调了当前净化实践的差距，这些实践主要集中在全数据集级别的污染上，并且通常无法检测到近似或嘈杂的污染。
我们证明了不同类型的污染会对模型性能产生不同的影响，这突出了在训练和评估