InstructEdit: Instruction-Based Knowledge Editing for Large Language Models

本文是LLM系列文章，针对《InstructEdit: Instruction-Based Knowledge Editing for Large Language Models》的翻译。

摘要

大型语言模型的知识编辑可以提供一种有效的解决方案来改变模型的行为，而不会对整体性能产生负面影响。然而，当前的方法遇到了跨任务可推广性有限的问题，每个任务需要一个不同的编辑器，这大大阻碍了更广泛的应用。为了解决这一问题，我们首先分析了知识编辑中的多任务泛化问题。具体来说，我们开发了一种基于指令的编辑技术，称为InstructionEdit，它有助于编辑器使用简单的指令同时适应各种任务性能。对于每个LLM只有一个统一的编辑器，我们实证证明了InstructionEdit可以提高编辑器的控制能力，从而使多任务编辑环境中的可靠性平均提高14.86%。此外，涉及拒不执行看不见任务的实验表明，InstructionEdit始终超过以前的强基线。为了进一步研究基于指令的知识编辑的潜在机制，我们分析了编辑梯度方向的主要成分，这表明指令可以通过更强的面向对象泛化来帮助控制优化方向。

1 引言

2 相关工作

3 背景

4 基于指令的知识编辑

5 实验

6 讨论和结论

我们关注LLM知识编辑的一个新问题：泛化到新任务。我们介绍了多任务编辑，说明了现有知识编辑方法