The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse-优快云博客

本文是LLM系列文章，针对《The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse》的翻译。

模型编辑的蝴蝶效应：很少的编辑会引发大型语言模型崩溃

摘要
1 引言
2 背景和研究方案
3 实验设置
4 实验观察
5 困惑度作为代替指标
6 编辑引起的模型崩塌
7 HardEdit：一个挑战数据集
8 结论与未来工作
局限性

摘要

尽管模型编辑在修改大型语言模型（LLM）中的知识方面显示出了前景，但它对LLM固有能力的影响往往被忽视。在这项工作中，我们揭示了一个关键现象：即使是一次编辑也会引发模型崩溃，表现为各种基准任务的性能显著下降。然而，在每次编辑后对LLM进行基准测试，虽然对于防止这种崩溃是必要的，但不切实际地耗费时间和资源。为了缓解这种情况，我们建议使用困惑作为替代指标，并通过大量实验验证了其与下游任务性能的强相关性。我们进一步对序列编辑进行了深入研究，这是一种现实世界场景的实用设置，涉及各种编辑方法和LLM，重点关注我们之前的单次编辑研究中的疑难案例。结果表明，几乎所有检查过的编辑方法都会在少量编辑后导致模型塌陷。为了便于进一步研究，我们利用GPT-3.5基于这些困难案例开发了一个新的数据集HardEdit。该数据集旨在为可靠模型编辑以及编辑导致模型崩溃的潜在机制的开创性研究奠定基础。我们希望这项工作能够引起社区对模型编辑实践中固有的潜在风险的关注。