Knowledge Editing for Large Language Models: A Survey-优快云博客

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/134259838

本文深入探讨了知识编辑在大型语言模型（LLM）中的应用，旨在在不破坏原有知识的情况下，有效地引入新知识。通过模型编辑策略，避免了直接微调的计算成本和可能的知识退化。文章提供了KME技术的分类，分析了其优缺点，介绍了评估指标、数据集和应用，同时指出了未来研究的挑战和方向。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《Knowledge Editing for Large Language Models: A Survey》的翻译。

摘要

大型语言模型（LLM）最近改变了学术界和工业界的格局，因为它们具有基于丰富的知识和推理能力理解、分析和生成文本的非凡能力。然而，LLM的一个主要缺点是，由于其前所未有的参数数量，其预训练的计算成本巨大。当经常需要将新知识引入预先训练的模型中时，这种劣势会加剧。因此，必须开发有效和高效的技术来更新预先训练的LLM。传统方法通过直接微调将新知识编码在预先训练的LLM中。然而，天真地重新训练LLM可能是计算密集型的，并且有可能退化与模型更新无关的有价值的预先训练的知识。最近，基于知识的模型编辑（KME）引起了越来越多的关注，其目的是精确地修改LLM以包含特定知识，而不会对其他无关知识产生负面影响。在本次综述中，我们旨在全面深入地概述KME领域的最新进展。我们首先介绍了KME的一般公式，以包含不同的KME策略。之后，我们基于如何将新知识引入预先训练的LLM，提供了KME技术的创新分类，并研究了现有的KME策略，同时分析了每个类别方法的关键见解、优势和局限性。此外，还相应地介绍了KME的代表性度量、数据集和应用。最后，我们对KME的实用性和剩余挑战进行了深入分析，并为该领域的进一步发展