Editing Factual Knowledge and Explanatory Ability of Medical Large Language Models

本文是LLM系列文章，针对《Editing Factual Knowledge and Explanatory Ability of Medical Large Language Models》的翻译。

摘要

模型编辑旨在精确地修改大型语言模型（LLM）对特定知识的行为，同时保持无关知识不变。它已被证明能有效解决LLM中的幻觉和过期问题。因此，它可以促进LLM在许多关键领域（如医学领域）的应用，在这些领域，幻觉是不可容忍的。在本文中，我们提出了两个模型编辑研究，并在医学领域对其进行了验证：（1）直接编辑事实医学知识和（2）编辑对事实的解释。同时，我们观察到，当前的模型编辑方法与医学知识的专业化和复杂性作斗争。因此，我们提出了MedLaSA，一种用于医学模型编辑的新型分层可扩展适配器策略。它采用因果追踪来识别神经元中知识的精确位置，然后将可扩展适配器引入LLM的密集层。基于相应的特定知识为这些适配器分配缩放值。为了评估编辑影响，我们构建了两个基准数据集，并引入了一系列具有挑战性的全面指标。在医学LLM上进行的大量实验证明了MedLaSA的编辑效率，而不会影响未编辑的无关知识。

1 引言

2 相关工作