Forgetting Curve: A Reliable Method for Evaluating Memorization Capability for Long-context Models

本文是LLM系列文章，针对《Forgetting Curve: A Reliable Method for Evaluating Memorization
Capability for Long

摘要

最近的许多工作旨在扩展语言模型的有效上下文长度，并且存在各种方法、任务和基准来衡量模型的有效记忆长度。然而，通过深入调查，我们发现目前对模型记忆能力的评估存在局限性。我们对这项工作的局限性进行了广泛的调查，并提出了一种称为遗忘曲线的新方法来衡量长上下文模型的记忆能力。我们表明，遗忘曲线具有对测试语料库和实验设置具有鲁棒性、不依赖于提示的优点，并且可以应用于任何模型大小。
我们将遗忘曲线应用于涉及Transformer和基于RNN/SSM架构的各种模型。我们的测量为Transformer扩展技术的有效性提供了经验证据，同时对基于RNN/SSM的模型的有效长度提出了质疑。我们还研究了我们的衡量标准与现有基准之间的差异，以及各种模型的流行指标。我们的代码和结果可以在以下https://github.com/1azybug/ForgettingCurve找到。

1 引言

2 远程记忆测量的局限性

3 遗忘曲线

4 实验

5 分析和讨论

6 结论

在这项工作中，我们确定了现有长序列语言建模度量、任务和基准中存在的局限性。为了解决这些局限性，我们引入了一种名为遗忘曲线的新方法，该方法提供了一种灵活而稳健的度量方法来可视化LLM的远程记忆能力。