Towards Efficient and Effective Unlearning of Large Language Models for Recommendation

本文是LLM系列文章，针对《Towards Efficient and Effective Unlearning of Large Language Models for Recommendation》的翻译。

摘要

大型语言模型（LLM）的显著进步带来了一个很有前途的研究方向，即利用LLM作为推荐器（LLMRec）。LLMRec的功效源于LLM固有的开放世界知识和推理能力。LLMRec通过基于用户交互数据的指令调优来获得推荐能力。然而，为了保护用户隐私和优化效用，LLMRec故意忘记特定的用户数据也是至关重要的，这通常被称为建议遗忘。在LLM时代，建议遗忘给LLMRec带来了低效率和无效性方面的新挑战。现有的遗忘方法需要更新LLMRec中的数十亿个参数，这既昂贵又耗时。此外，在遗忘过程中，它们总是影响模型的实用性。为此，我们提出了E2URec，这是LLMRec的第一个高效和有效的释放方法。我们提出的E2URec仅通过更新几个额外的LoRA参数来提高遗忘效率，并通过采用师生框架来提高遗忘效果，在师生框架中，我们维护多个教师网络来指导遗忘过程。大量实验表明，在两个真实世界的数据集上，E2URec的性能优于最先进的基线。具体来说，E2URec可以在不影响推荐性能的情况下高效地忘记特定数据。源代码位于