Knowledge Graph Enhanced Large Language Model Editing

本文是LLM系列文章，针对《Knowledge Graph Enhanced Large Language Model Editing》的翻译。

摘要

大型语言模型（LLM）是推进自然语言处理（NLP）任务的关键，但其功效受到不准确和过时知识的阻碍。模型编辑是解决这些挑战的一个很有前途的解决方案。然而，现有的编辑方法难以跟踪和整合与编辑相关的知识变化，这限制了编辑后LLM在处理编辑知识时的泛化能力。为了解决这些问题，我们提出了一种新的模型编辑方法，即GLAME，该方法利用知识图谱来增强LLM编辑。具体来说，我们首先利用知识图谱增强模块来揭示由于编辑而发生变化的相关知识，从而获得其在LLM中的内部表示。这种方法允许LLM内的知识变化通过外部图结构反映出来。随后，我们设计了一个基于图的知识编辑模块，将结构化知识集成到模型编辑中。这确保了更新的参数不仅反映了对编辑的知识的修改，而且反映了由编辑过程引起的其他相关知识的变化。在GPT-J和GPT-2XL上进行的综合实验表明，GLAME在使用编辑知识方面显著提高了编辑后LLM的泛化能力。

1 引言

2 相关工作

3 前言

4 方法

5 实验

6 结论

在本文中，我们提出了一种用于大型语言模型编辑的新方法GLAME。GLAME利用知识图谱增强模块，通过构建外部图来捕捉由于编辑而导致的相关知识的变化。接下来，我们介绍了一个基于图的知识编辑模块，该模块利用关系图神经网络将构建的子图中的新知识关联无缝集成到LLM的参数编辑框架中。在两个LLM上的实验结果和广泛的分析证明