Neighboring Perturbations of Knowledge Editing on Large Language Models

本文是LLM系列文章，针对《Neighboring Perturbations of Knowledge Editing on Large Language Models》的翻译。

摘要

尽管大型语言模型具有特殊的功能，但由于错误或过时的知识，它们很容易生成意外的文本。鉴于再训练LLM的资源密集性，知识编辑的发展显著增加。然而，目前的方法和评估很少探讨编辑对邻近知识的干扰。本文研究了将新知识更新为LLM是否会干扰封装在LLM中的相邻知识。具体来说，我们试图弄清楚，在一个事实问题的答案列表中添加一个新答案是否会导致灾难性地忘记列表中的原始正确答案，以及无意中包含错误答案。引入了一种可加性度量，并构造了一个称为附加知识的扰动评估（PEAK）的基准，以评估附加新知识时对相邻知识的扰动程度。此外，还提出了一种即插即用的框架，称为“通过保护和预防进行追加”（APP），以通过保持答案列表的完整性来减轻相邻扰动。实验证明了APP与四种编辑方法耦合在三种LLM上的有效性。

1 引言

2 相关工作

3 前言

4 可加性的定义

5 PEAK：附加知识的扰动评价