KIEval: A Knowledge-grounded Interactive Evaluation Framework for Large Language Models

本文是LLM系列文章，针对《KIEval: A Knowledge-grounded Interactive Evaluation Framework for
Large Language Models》的翻译。

摘要

大型语言模型（LLM）的自动评估方法受到数据污染的阻碍，导致对其有效性的评估被夸大。现有的策略旨在检测受污染的文本，侧重于量化污染状态，而不是准确衡量模型性能。在本文中，我们介绍了KIEval，这是一个基于知识的交互式评估框架，它首次结合了LLM驱动的“交互者”角色，以实现动态污染弹性评估。从涉及特定领域知识的传统LLM基准中的一个问题开始，KIEval利用动态生成的、多轮的、以知识为中心的对话来确定模型的回答是仅仅是对基准答案的回忆，还是表现出在更复杂的对话中应用知识的深刻理解。在五个数据集的七个领先LLM上进行的广泛实验验证了KIEval的有效性和泛化能力。我们还发现，数据污染对模型在现实世界中的适用性和理解没有贡献，甚至没有负面影响，现有的LLM污染检测方法只能在预训练中识别污染，而不能在监督微调过程中识别污染。

1 引言

2 相关工作

3 方法

4 实验