Stable Knowledge Editing in Large Language Models

828 篇文章

已下架不支持订阅

StableKE是一种新颖的大型语言模型知识编辑方法,避免了传统方法中知识本地化和孤立的假设,通过语义短语和上下文描述增强策略实现知识的稳定编辑,同时保持模型的无关知识和一般能力的稳定性。KEBench基准用于评估其性能,结果显示StableKE在知识编辑稳定性方面表现出色。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本文是LLM系列文章,针对《Stable Knowledge Editing in Large Language Models》的翻译。

摘要

大型语言模型的有效知识编辑对于大规模替换过时信息或整合专业知识至关重要。然而,以前的方法隐含地假设知识在模型中是本地化和孤立的,这一假设过于简化了模型知识的相互关联性。本地化的前提导致知识编辑不完整,而孤立的假设可能会损害其他知识和一般能力。它给知识编辑方法的性能带来了不稳定性。为了超越这些假设,我们引入了StableKE,这是一种基于知识扩充而非知识本地化的新颖方法。为了克服人为标注的成本,StableKE集成了两种自动知识增强策略:语义短语增强策略,它使知识描述多样化,以便于向模型教授新信息;上下文描述增强策略,扩展周围的知识,以防止相关信息的遗忘。StableKE超越了其他知识编辑方法,展示了编辑知识和多跳知识的稳定性,同时也保留了无关知识和一般能力。此外,StableKE可以在ChatGPT上编辑知识。

1 引言

2 相关工作

3 KEBench基准

4 StableKE方法

5 实验

已下架不支持订阅

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值