Dated Data: Tracing Knowledge Cutoffs in Large Language Models

本文是LLM系列文章，针对《Dated Data: Tracing Knowledge Cutoffs in Large Language Models
》的翻译。

摘要

已发布的大型语言模型（LLM）通常与声称的知识截止日期或收集训练数据的日期配对。这些信息对于LLM必须提供最新信息的应用程序至关重要。然而，这种说法只触及了表面：训练数据中的所有资源是否共享相同的知识截止日期？模型证明的这些子集的知识是否与它们的截止日期密切相关？在这项工作中，我们定义了有效截止的概念。这与LLM设计者报告的截止值不同，并分别适用于子资源和主题。我们提出了一种简单的方法，通过在不同版本的数据之间进行探测来估计LLM的资源级时间对齐的有效截止点。通过这种分析，我们发现有效的截止值往往与报告的截止值不同。为了了解这种观察的根本原因，我们对开放的预训练数据集进行了直接的大规模分析。我们的分析揭示了这些不一致的两个原因：（1）由于新转储中的大量旧数据导致的CommonCrawl数据的时间偏差；（2）LLM重复数据消除方案的复杂性，包括语义重复和词汇近似重复。总的来说，我们的研究结果表明，知识截断并不像看上去那么简单，LLM数据集管理者和寻求使用这些模型信息的从业者都必须小心。

1 引言