2025_NIPS_Probing Knowledge Holes in Unlearned LLMs

一、文章主要内容总结

该研究聚焦大语言模型（LLMs）的机器遗忘（machine unlearning）技术，核心发现现有遗忘方法在移除有害知识时，会意外导致良性知识丢失（即“知识漏洞”），而传统静态基准测试无法捕捉这类隐藏损失。

1. 核心问题：现有机器遗忘技术虽能在TruthfulQA、MMLU等标准基准上维持性能，却存在未被发现的“知识漏洞”——对与有害知识相关的“邻近知识”和语义无关的“潜在知识”，遗忘后的模型会生成无关、不完整甚至无意义的响应。
2. 解决方案：提出一套三阶段知识漏洞探测框架，包括：
   • 邻近知识探测：基于有害内容的关键词生成良性测试用例；
   • 潜在知识探测：利用强化学习（RL）自适应生成测试用例，挖掘更广泛的隐藏漏洞；
   • 事后过滤：确保测试用例有效且不涉及有害知识。
3. 实验验证：在4种主流遗忘算法（NPOGD、GAKL、RMU、LLMU）和2个数据集（PKU-SafeRLHF、WMDP-Bio）上验证，发现：
   • 75.2%的邻近知识测试用例和98.7%的潜在知识测试用例，遗忘后的模型响应质量极低（1-10分制中得1分）；
   • 尝试“一次性修复”和“迭代修复”策略，均面临“移除有害知识与恢复良性知识的平衡”“修复旧漏洞产生新漏洞”两大核心挑战。
4. 核心结论：传统静态基准不足以评估遗忘后的知识保留效果，需采用动态评估方法