KIEval: A Knowledge-grounded Interactive Evaluation Framework for Large Language Models

828 篇文章

已下架不支持订阅

KIEval是一个针对大型语言模型的交互式评估框架,旨在解决数据污染问题,通过知识中心的多轮对话评估模型理解和应用知识的能力。实验证明其有效性和泛化能力,揭示了基于静态数据集的基准测试可能低估LLM性能差异,且数据污染主要影响模型答案的回忆而非知识理解。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本文是LLM系列文章,针对《KIEval: A Knowledge-grounded Interactive Evaluation Framework for
Large Language Models》的翻译。

KIEval:一个基于知识的大型语言模型交互式评价框架

摘要

大型语言模型(LLM)的自动评估方法受到数据污染的阻碍,导致对其有效性的评估被夸大。现有的策略旨在检测受污染的文本,侧重于量化污染状态,而不是准确衡量模型性能。在本文中,我们介绍了KIEval,这是一个基于知识的交互式评估框架,它首次结合了LLM驱动的“交互者”角色,以实现动态污染弹性评估。从涉及特定领域知识的传统LLM基准中的一个问题开始,KIEval利用动态生成的、多轮的、以知识为中心的对话来确定模型的回答是仅仅是对基准答案的回忆,还是表现出在更复杂的对话中应用知识的深刻理解。在五个数据集的七个领先LLM上进行的广泛实验验证了KIEval的有效性和泛化能力。我们还发现,数据污染对模型在现实世界中的适用性和理解没有贡献,甚至没有负面影响,现有的LLM污染检测方法只能在预训练中识别污染,而不能在监督微调过程中识别污染。

1 引言

2 相关工作

3 方法

4 实验

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值