Revisiting Dynamic Evaluation: Online Adaptation for Large Language Models

本文是LLM系列文章，针对《Revisiting Dynamic Evaluation: Online Adaptation for Large Language Models》的翻译。

摘要

我们考虑在测试时在线微调语言模型的参数的问题，也称为动态评估。虽然众所周知，这种方法提高了整体预测性能，特别是在考虑训练和评估数据之间的分布变化时，我们在这里强调的观点是，在线适应将参数转化为随时间变化的状态，并提供了一种上下文长度扩展形式，以权重表示记忆，更符合神经科学中记忆的概念。我们特别关注适应的速度（就样本效率而言）、对总体分布漂移的敏感性，以及执行梯度计算和参数更新的计算开销。我们的实证研究提供了在线适应何时特别有趣的见解。我们强调，通过在线自适应，上下文学习和微调之间的概念区别变得模糊：两者都是基于先前观察到的token来调节模型的方法。

1 引言

2 SGD在线适应的方法

3 实验设置

4 结论

在本文中，我们为LLM的在线适应（也称为动态评估）提供了一个新的视角。通过广泛的实验，我们表明，当一个模型面临显著的分布变化时，具有较小上下文窗口和/或较小模型的在线学习可以带来更好的计算性能Pareto前沿，这表明记忆在权重上优于与上下文内学习相关联的激活中的记忆。当模型在在线自适应阶段之前被微调到目标分布时，这种优势减少并最终消失。然而，我们观察到（就像动态评估的经典情况一样）在线学习总是能提高性能。此外，对于分布中的模型，具有较小上下文的在线学习（因此具有较小的内存需求）可以缩小与具有较大上下文的上下文内学习的差距。还值得注意的是，在线自适应所观察到的最佳结果采用了一种简单的策略，通过在在线自适应阶段开始时将权重重置为其值，来避免模型过度拟合局