Knowledge Editing for Large Language Models: A Survey

本文是LLM系列文章，针对《Knowledge Editing for Large Language Models: A Survey》的翻译。

摘要

大型语言模型（LLM）最近改变了学术界和工业界的格局，因为它们具有基于丰富的知识和推理能力理解、分析和生成文本的非凡能力。然而，LLM的一个主要缺点是，由于其前所未有的参数数量，其预训练的计算成本巨大。当经常需要将新知识引入预先训练的模型中时，这种劣势会加剧。因此，必须开发有效和高效的技术来更新预先训练的LLM。传统方法通过直接微调将新知识编码在预先训练的LLM中。然而，天真地重新训练LLM可能是计算密集型的，并且有可能退化与模型更新无关的有价值的预先训练的知识。最近，基于知识的模型编辑（KME）引起了越来越多的关注，其目的是精确地修改LLM以包含特定知识，而不会对其他无关知识产生负面影响。在本次综述中，我们旨在全面深入地概述KME领域的最新进展。我们首先介绍了KME的一般公式，以包含不同的KME策略。之后，我们基于如何将新知识引入预先训练的LLM，提供了KME技术的创新分类，并研究了现有的KME策略，同时分析了每个类别方法的关键见解、优势和局限性。此外，还相应地介绍了KME的代表性度量、数据集和应用。最后，我们对KME的实用性和剩余挑战进行了深入分析，并为该领域的进一步发展提出了有前景的研究方向。

1 引言

2 背景

3 问题描述

4 评估指标

5 方法

6 数据集

7 应用