Stable Knowledge Editing in Large Language Models

本文是LLM系列文章，针对《Stable Knowledge Editing in Large Language Models》的翻译。

摘要

大型语言模型的有效知识编辑对于大规模替换过时信息或整合专业知识至关重要。然而，以前的方法隐含地假设知识在模型中是本地化和孤立的，这一假设过于简化了模型知识的相互关联性。本地化的前提导致知识编辑不完整，而孤立的假设可能会损害其他知识和一般能力。它给知识编辑方法的性能带来了不稳定性。为了超越这些假设，我们引入了StableKE，这是一种基于知识扩充而非知识本地化的新颖方法。为了克服人为标注的成本，StableKE集成了两种自动知识增强策略：语义短语增强策略，它使知识描述多样化，以便于向模型教授新信息；上下文描述增强策略，扩展周围的知识，以防止相关信息的遗忘。StableKE超越了其他知识编辑方法，展示了编辑知识和多跳知识的稳定性，同时也保留了无关知识和一般能力。此外，StableKE可以在ChatGPT上编辑知识。

1 引言

2 相关工作

3 KEBench基准

4 StableKE方法

5 实验

6 结论

在这项研究中，我们观察到，以前的大多数知识编辑方法都严重依赖于知识本地化和孤立的假设，导致知识编辑方法不稳定。为了验证这些问题，我们首先开发了一个新的知识编辑基