本文是LLM系列文章,针对《Editing Conceptual Knowledge for Large Language Models》的翻译。
摘要
最近,人们对大型语言模型(LLM)的知识编辑越来越感兴趣。目前的方法和评估只是探索实例级的编辑,而LLM是否具有修改概念的能力仍不清楚。本文通过构建一个新的基准数据集ConceptEdit并建立一套新的评估指标,率先研究了LLM的概念知识编辑。实验结果表明,尽管现有的编辑方法可以在一定程度上有效地修改概念级定义,但它们也有可能扭曲LLM中的相关实例化知识,导致性能较差。我们预计,这将激励在更好地理解LLM方面取得进一步进展。