GUARD: Guided Unlearning and Retention via Data Attribution for Large Language Models

论文主要内容总结

研究背景与问题

• LLM遗忘的重要性：随着LLM的广泛应用，隐私保护、法规合规和版权问题日益凸显，选择性删除敏感信息的“遗忘”技术成为关键。
• 现有方法的局限性：传统LLM遗忘方法（如梯度上升）存在“意外遗忘”问题，即删除目标数据时会损害模型对保留数据的性能，且计算效率低、缺乏理论保证。

核心方法与框架

• GUARD框架：通过数据归因（Data Attribution）指导遗忘过程，核心包括：
  • 轻量级代理归因指标：计算遗忘样本与保留样本的梯度对齐度，量化样本对保留集的影响。
  • 自适应遗忘权重：根据归因分数反向分配权重，对保留影响大的样本降低遗忘强度，避免意外损失。
  • 温度控制机制：调节权重分布的方差，平衡遗忘效果与保留性能。

理论与实验验证

• 理论保证：证明GUARD可降低保留集损失、维持遗忘效果，