2025_NIPS_MEMOIR: Lifelong Model Editing with Minimal Overwrite and Informed Retention for LLMs

MEMOIR 论文核心总结与翻译

一、主要内容

该研究针对大型语言模型（LLMs）部署后需持续更新知识但易出现灾难性遗忘、泛化能力不足或编辑干扰等问题，提出了一种名为 MEMOIR（Model Editing with Minimal Overwrite and Informed Retention）的终身模型编辑框架。其核心目标是在无需重新训练的前提下，实现高效、可靠的模型知识更新，同时平衡可靠性（准确修正目标输入响应）、泛化性（适配语义相似提示）和局部性（不影响无关输入响应）三大关键指标。

核心设计

1. 残差记忆模块：引入独立的全连接层作为记忆模块，不直接修改预训练模型核心参数，通过残差连接融合原始输出与记忆模块输出，保留模型原有能力。
2. 样本依赖掩码稀疏化：编辑阶段通过动态掩码激活记忆模块中样本特定的参数子集，使每个编辑对应独立参数空间，减少编辑间的覆盖与干扰。
3. 推理阶段条件激活：通过比较输入提示与编辑样本的稀疏激活模式（基于汉明距离和重叠率），动态激活相关记忆或停用记忆模块，实现对改写提示的泛化和无关提示的知识保留。

实验验证

• 基准测试：在问答（ZsRE）、幻觉修正（SelfCheckGPT）、分布外泛化（Temporal）和多跳推理（RippleEdits）任务中，基于 LLaMA-3、Mistral、LLa