超级会员免费看
本文深入研究了大型语言模型（LLM）的机器遗忘（MU），旨在消除敏感信息并保持模型性能。讨论了遗忘的各个方面，包括概念、方法、评估和应用，强调遗忘范围、数据模型交互和多维度评估的重要性。同时，探索了LLM遗忘与模型编辑、影响函数等领域的联系，并提出了遗忘的评估框架，讨论其在版权保护和减少社会技术危害中的应用。
本文是LLM系列文章，针对《RETHINKING MACHINE UNLEARNING FOR LARGE LANGUAGE MODELS》的翻译。
大型语言模型的机器遗忘再思考
摘要
我们在大型语言模型（LLM）领域中探索机器遗忘（MU），称为LLM遗忘。这一举措旨在消除不希望的数据影响（如敏感或非法信息）和相关的模型能力，同时保持基本知识生成的完整性，不影响因果无关的信息。我们设想LLM学习将成为LLM生命周期管理的一个关键要素，有可能成为开发生成性人工智能的重要基础，该人工智能不仅安全、可靠，而且资源高效，无需全面再训练。我们从概念表述、方法、指标和应用的角度来浏览LLM中的遗忘景观。特别是，我们强调了现有LLM遗忘研究中经常被忽视的方面，例如遗忘范围、数据模型相互作用和多方面疗效评估。我们还将LLM遗忘与相关领域联系起来，如模型编辑、影响函数、模型解释、对抗性训练和强化学习。此外，我们概述了LLM遗忘的有效评估框架，并探讨了其在版权和隐私保护以及减少社会技术伤害方面的应用。
1 引言
2 前言和相关工作
3 开箱LLM遗忘
4 重新审视LLM的遗忘方法：现有技术和被忽视的原则
5 评估
6 LLM遗忘的应用
7 讨论和结论
这篇立场论文重新思考了现代LLM的遗忘范式，以揭示其未被探
订阅专栏 解锁全文
扫一扫
155
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
