UNVEILING THE PITFALLS OF KNOWLEDGE EDITING FOR LARGE LANGUAGE MODELS

本文是LLM系列文章，针对《UNVEILING THE PITFALLS OF KNOWLEDGE EDITING FOR LARGE LANGUAGE MODELS》的翻译。

摘要

随着与微调大型语言模型（LLM）相关的成本持续上升，最近的研究工作已转向开发编辑嵌入LLM中的隐含知识的方法。然而，头顶上仍然笼罩着一片乌云——知识编辑会引发蝴蝶效应吗？因为目前尚不清楚知识编辑是否会带来潜在风险的副作用。本文率先调查了LLM知识编辑的潜在陷阱。为了实现这一点，我们引入了新的基准数据集，并提出了创新的评估指标。我们的研究结果强调了两个关键问题：（1）知识冲突：编辑逻辑冲突的事实组可能会放大LLM中固有的不一致性——这是以前方法忽略的一个方面。（2） 知识扭曲：以编辑事实知识为目的改变参数会不可逆转地扭曲LLM固有的知识结构。实验结果生动地表明，知识编辑可能会在不经意间给LLM带来意想不到的后果，这值得关注和努力。

1 引言

2 LLMS知识编辑的陷阱探索

3 相关工作

4 讨论与结论

知识冲突对LLM的副作用本文表明，知识编辑会带来知识冲突的副作用，导致知识不一致，甚至可能增强LLM的幻觉。我们认为，通过逻辑规则或KG推理进行冲突检测可以避免知识冲突。然而，LLM知识编辑的副作用远不能令人满意，这需要通过从其他领域（例如，认知科学）的启发来为未来的工作做出努力。
LLM中的知识更新和恢复知识编辑技术可以作为更新、净化或个性化LLM的支架。请注意，我们无法阻止某些人有意或无意地进行错误的知识编辑，从而导致我们恢复LLM。因此，本文对知识失真的实证观察给LLM中的知识