The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse-优快云博客

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/137230980

本文研究发现，对大型语言模型（LLM）的编辑可能引发模型崩溃，导致性能显著下降。尽管模型编辑展示出修改LLM知识的潜力，但其对模型稳定性的潜在影响被忽视。困惑度被建议作为一种替代指标，以更高效地评估编辑后的模型性能。此外，提出的HardEdit数据集旨在促进对模型编辑风险和潜在崩溃机制的深入研究。未来工作将聚焦于理解编辑失败的根本原因并发展更可靠的模型编辑技术。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《The Butterfly Effect of Model Editing: Few Edits Can Trigger Large Language Models Collapse》的翻译。

摘要

尽管模型编辑在修改大型语言模型（LLM）中的知识方面显示出了前景，但它对LLM固有能力的影响往往被忽视。在这项工作中，我们揭示了一个关键现象：即使是一次编辑也会引发模型崩溃，表现为各种基准任务的性能显著下降。然而，在每次编辑后对LLM进行基准测试，虽然对于防止这种崩溃是必要的，但不切实际地耗费时间和资源。为了缓解这种情况，我们建议使用困惑作为替代指标，并通过大量实验验证了其与下游任务性能的强相关性。我们进一步对序列编辑进行了深入研究，这是一种现实世界场景的实用设置，涉及各种编辑方法和LLM，重点关注我们之前的单次编辑研究中的疑难案例。结果表明，几乎所有检查过的编辑方法都会在少量编辑后导致模型塌陷。为了便于进一步研究，我们利用GPT-3.5基于这些困难案例开发了一个新的数据集HardEdit。该数据集旨在为可靠模型编辑以及编辑导致模型崩溃的潜在机制的开创性研究奠定基础。我们希望这项工作能够引起社区对模型编辑实践中固有的潜在风险的关注。