GeoEdit: Geometric Knowledge Editing for Large Language Models

本文是LLM系列文章，针对《GeoEdit: Geometric Knowledge Editing for Large Language Models》的翻译。

主要内容

1. 研究背景：大语言模型知识更新需求促使多种编辑方法涌现，但现有基于训练的方法在融入新知识时难以保留通用知识，定位编辑法计算开销大且需额外数据，微调法易影响无关知识，F-Learning难以平衡新旧知识。
2. 相关工作：介绍知识编辑现有方法，包括微调、元学习和定位编辑法，指出它们在平衡新知识更新和保留无关知识方面的不足，引出改进微调方法的研究方向。
3. GeoEdit方法：
   • 提取神经元级任务向量：分别在旧、新知识数据集微调初始模型，获取神经元级任务向量，分析其方向特征区分不同神经元。
   • 使用自动编码器降维：用自动编码器将任务向量映射到低维空间，减少高维向量角度偏差，提高编辑准确性。
   • 几何知识编辑：计算低维空间中任务向量夹角，依角度分类神经元，对不同类别神经元采用正交、协同、冲突知识编辑策略，利用重要性引导任务向量融合技术确定融合权重。
4. 实验与分析：用ZsRE和COUNTERFACT数据集，对比GeoEdit与多种基线方法，进行消融实验、可视化分析和编辑时间分析，结果表明GeoEdit在平衡新知识更新和保留通用知识方面表现更优。
5. 结论与展望：GeoEdit有效，但存在依赖旧知识数据集和角度判断不精准的问题，未来计划探索改进方法。