Machine Unlearning of Pre-trained Large Language Models

本文是LLM系列文章，针对《Machine Unlearning of Pre-trained Large Language Models》的翻译。

摘要

本研究在大型语言模型（LLM）的背景下探讨了“被遗忘权”的概念。我们探索将机器遗忘作为一种关键解决方案，重点关注预训练的模型——这是一个研究不足的领域。我们的研究为预训练LLM中的机器遗忘描绘了一个全面的框架，包括对七种不同的遗忘方法的批判性分析。通过使用arXiv、books和GitHub中精心策划的数据集进行严格评估，我们建立了一个强大的遗忘性能基准，证明这些方法的计算效率是再训练的105倍以上。我们的结果表明，在分布数据上将梯度上升与梯度下降相结合可以提高超参数的稳健性。我们还为遗忘过程中的有效超参数调整提供了详细的指导方针。我们的研究结果推动了关于人工智能伦理实践的讨论，为预训练LLM的机器遗忘机制提供了实质性的见解，并强调了负责任的人工智能开发的潜力。

1 引言

2 问题公式

3 遗忘方法

4 实验

5 相关工作

6 结论

在本文中，我们研究了从LLM中删除受版权保护的预训练数据的挑战。我们提出了一个统一的遗忘LLM公式，从中推导出七种遗忘方法。我们引入近似再训练作为一种评估技术，以绕过从头开始再训练LLM的不切实际之处。我们对三个预训练数据域的实验分析验证了遗忘方法的