InstructEdit: Instruction-Based Knowledge Editing for Large Language Models

828 篇文章

已下架不支持订阅

本文提出了一种名为InstructionEdit的技术,用于解决大型语言模型的知识编辑跨任务泛化问题。通过简单的指令,InstructionEdit能提升编辑器在多任务环境中的性能,平均提升14.86%的可靠性,且在未见过的任务中表现优于基线。通过分析编辑梯度方向,揭示了指令如何增强目标导向的泛化能力。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本文是LLM系列文章,针对《InstructEdit: Instruction-Based Knowledge Editing for Large Language Models》的翻译。

InstructionEdit:基于指令的大型语言模型知识编辑

摘要

大型语言模型的知识编辑可以提供一种有效的解决方案来改变模型的行为,而不会对整体性能产生负面影响。然而,当前的方法遇到了跨任务可推广性有限的问题,每个任务需要一个不同的编辑器,这大大阻碍了更广泛的应用。为了解决这一问题,我们首先分析了知识编辑中的多任务泛化问题。具体来说,我们开发了一种基于指令的编辑技术,称为InstructionEdit,它有助于编辑器使用简单的指令同时适应各种任务性能。对于每个LLM只有一个统一的编辑器,我们实证证明了InstructionEdit可以提高编辑器的控制能力,从而使多任务编辑环境中的可靠性平均提高14.86%。此外,涉及拒不执行看不见任务的实验表明,InstructionEdit始终超过以前的强基线。为了进一步研究基于指令的知识编辑的潜在机制,我们分析了编辑梯度方向的主要成分,这表明指令可以通过更强的面向对象泛化来帮助控制优化方向。

1 引言

2 相关工作

3 背景

4 基于指令的知识编辑

已下架不支持订阅

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值