Who‘s Harry Potter? Approximate Unlearning in LLMs

本文是LLM系列文章，针对《Who’s Harry Potter? Approximate Unlearning in LLMs》的翻译。

摘要

大型语言模型（LLM）是在大量的互联网语料库上训练的，这些语料库通常包含受版权保护的内容。这给这些模型的开发人员和用户，以及原始作者和出版商带来了法律和道德挑战。在本文中，我们提出了一种新的技术，用于从LLM中忘记训练数据的子集，而不必从头开始重新训练。
我们评估了我们在从Llama2-7b模型（Meta最近开源的生成语言模型）中忘记哈利波特书的任务上的技术。虽然该模型花费了超过184K个GPU小时进行预训练，但我们发现，在大约1个GPU小时的微调中，我们有效地消除了该模型生成或回忆哈利波特相关内容的能力，而其在常见基准测试（如Winogrande、Hellaswag、arc、boolq和piqa）上的性能几乎不受影响。据我们所知，这是第一篇在生成语言模型中提出有效的遗忘技术的论文。
我们的技术由三个主要组成部分组成：首先，我们使用一个在目标数据上进一步训练的强化模型，通过将其logits与基线模型的logits进行比较，来识别与遗忘目标最相关的token。其次，我们将目标数据中的特殊表达式替换为通用表达式，并利用模型自己的预测为每个token生成替代标签。这些标签旨在近似尚未在目标数据上训练的模型的下一个标记预测。第三，我们在这些替代标签上对模型进行微调，无论何时提示其上下文，这都会有效地从模型的内存中删除原始文本。

1 引言

2 我们方法的描述

3