2025_NIPS_Simplicity Prevails: Rethinking Negative Preference Optimization for LLM Unlearning

文章主要内容总结

本文聚焦大语言模型（LLM）遗忘技术，旨在移除模型中不需要的数据影响（如版权内容、有害信息）同时保留模型效用。现有主流方法NPO（Negative Preference Optimization）存在参考模型偏差问题，导致优化资源分配不均、早期梯度权重平滑无效等缺陷。为此，作者提出SimNPO框架，借鉴无参考的简单偏好优化（SimPO），通过长度归一化的奖励机制消除参考模型依赖，在TOFU、MUSE、WMDP等基准测试中，SimNPO在遗忘效果、模型效用及抗重学习攻击鲁棒性上均优于NPO等基线方法。

核心创新点

1. 首次识别NPO的关键缺陷——参考模型偏差，揭示其导致的优化资源分配不均（对难遗忘样本投入不足、易遗忘样本过度优化）和早期梯度平滑失效问题。
2. 提出SimNPO框架，采用无参考的长度归一化奖励机制，自动适配不同难度的遗忘数据，实现优化资源的合理分配。
3. 从马尔可夫链混合模型角度提供理论支撑，通过大量实验验证SimNPO在多种场景下的有效性，包括不同数据长度、记忆强度的遗忘任务及抗重学习攻击能力。

---

翻译部分（Markdown格式）

Abstract

本文研究大语言模型（LLM）遗忘问题，旨在移除不需要的数据影响（如版权内容或有害信息），同时保留模型效用。尽管遗忘技术的需求日益增长，但目前缺乏技术层面扎实的优化框架。梯度上升（GA）类方法虽被广泛使用，但存在次优性——它们在逆转学习过程时未控制优化偏差（即与预训