A Comprehensive Evaluation of Sequential Memory Editing in Large Language Models

本文是LLM系列文章，针对《Navigating the Dual Facets: A Comprehensive Evaluation of Sequential Memory Editing in Large Language Models》的翻译。

摘要

内存编辑（ME）已经成为一种有效的方法来修改错误的事实或将新的事实注入大型语言模型（LLM）。存在两种主流的ME方法：参数修改ME和参数保留ME（在保留原始参数的同时集成额外的模块）。令人遗憾的是，以前关于ME评估的研究有两个关键的局限性：（i）仅用单一编辑来评估LLM，忽略了连续编辑的必要性；（ii）仅关注基本的事实三元组，忽略了更广泛的LLM能力，如逻辑推理和阅读理解。这项研究通过三方面的贡献解决了这些局限性：（i）我们探索了ME如何在顺序编辑下影响LLM的广泛基本能力。实验结果揭示了一个有趣的现象：大多数修改参数的ME在经过几次连续编辑后，会持续降低所有任务的性能。相比之下，参数保留ME有效地保持了LLM的基本能力，但很难准确回忆以不同格式呈现的编辑知识。（ii）我们将评估扩展到不同的编辑设置，如编辑层、模型大小、指令调整等。实验结果表明，有几种策略可以潜在地减轻ME的不利影响。我们的深入研究提倡在现实世界场景中更谨慎地使用ME。

1 引言

2 相关工作

3 符号和背景

4 实验设置

5 ME对LLM的评估