Second-Order Information Matters: Revisiting Machine Unlearning for Large Language Models

本文是LLM系列文章，针对《Second-Order Information Matters: Revisiting Machine Unlearning for Large Language Models》的翻译。

摘要

随着大型语言模型（LLM）的快速发展，我们见证了ChatGPT、LLaMa和Gemini等主要LLM产品之间的激烈竞争。然而，训练语料库的各种问题（如隐私泄露和侵犯版权）仍然没有得到充分的研究。例如，《泰晤士报》起诉OpenAI和微软使用其数百万篇文章进行训练侵犯了其版权。从LLM从业者的角度来看，处理此类非故意侵犯隐私的行为可能具有挑战性。先前的工作解决了使用梯度信息的LLM的“遗忘”问题，但它们大多引入了大量的开销，如数据预处理或缺乏稳健性。在本文中，与基于一阶信息的方法相比，我们从二阶信息的角度重新审视了遗忘问题（Hessian）。我们的遗忘算法受到经典牛顿更新的启发，不仅数据不可知/模型不可知，而且在效用保护或隐私保障方面也被证明是稳健的。通过对四个NLP数据集的综合评估以及对真实世界数据集的案例研究，我们的方法始终显示出优于一阶方法的优势。

1 引言

2 前言

3 LLM的遗忘

4 实验设置

5 实验结果

6 意外记忆的遗忘

7 DP-SGD和遗忘</