Erasing Without Remembering: Safeguarding Knowledge Forgetting in Large Language Models

摘要

在本文中，我们从一个全新的维度探索机器遗忘（machine unlearning），研究如何在大语言模型（LLMs）中保障模型的遗忘能力。我们的目标是防止已遗忘特定知识的模型回忆起任何与目标知识相关的记忆。我们首先揭示了一个看似简单却被忽视的事实：现有方法通常仅删除目标知识的精确表述，而保留了其释义或相关信息。为了严格衡量这些疏忽，我们引入了UGBENCH，这是首个专为评估13种最先进方法的泛化性能而设计的基准测试。UGBENCH表明，已遗忘特定知识的模型仍能回忆起释义后的答案，并在中间层保留目标事实。为了解决这个问题，我们提出了PERMU，这是一种基于扰动的方法，可显著增强保障大语言模型遗忘能力的泛化能力。实验表明，PERMU在遗忘性能上提升了高达50.13%，同时在稳健泛化方面提高了43.53%。

关键词

机器遗忘；大语言模型；泛化

引言

大语言模型（LLMs）凭借其从预训练语料库中回忆大量知识的能力展现出卓越的性能，但由于它们无意间记住了机密信息，也越来越容易生成私密、有害甚至非法的内容。为应对这一困境，针对大语言模型的机器遗忘已成为一个新兴的研究热点，旨在开发可靠且计算高效的知识遗忘方法，从训练好的大语言模型中消除特定不良数据的影响，同时保留模型对其余数据的实用性。

目前最先进的大语言模型机器遗忘方法大致可分为两类：无训练方法和基于训练的方法。前者，如神经元编辑、上下文学习和提示工程，无需额外训练即可遗忘知识，但应用场景往往有限。相比之下，基于训练的方法通常通过更新模型参数和梯度来实现更强的遗忘效果，所使用的技术包括梯度上升、偏好优化、基于重新标记的微调、任务