论文翻译：ACL-2024 KIEval: A Knowledge-grounded Interactive Evaluation Framework for Large Language

KIEval: A Knowledge-grounded Interactive Evaluation Framework for Large Language Models
https://arxiv.org/abs/2402.15043

b站：https://www.bilibili.com/video/BV1s1D1YqEBU

PPT：https://share.weiyun.com/q4PbssZP

KIEval：面向大型语言模型的知识基础交互式评估框架

摘要

大型语言模型（LLMs）的自动评估方法受到数据污染的阻碍，导致对它们有效性的评估过高。现有的策略，旨在检测污染文本，专注于量化污染状态，而不是准确衡量模型性能。在本文中，我们介绍了KIEval，一个知识基础的交互式评估框架，首次引入了一个由LLM驱动的“交互者”角色，以实现动态的、抗污染的评估。
从涉及特定领域知识的常规LLM基准测试中的问题开始，KIEval利用动态生成的、多轮次的、知识集中的对话来确定模型的回应是否仅仅是对基准答案的回忆，还是展示了在更复杂对话中应用知识的深层理解。
在五个数据集上的七个领先LLMs的广泛实验验证了KIEval的有效性和泛化能力。我们还揭示了数据污染对模型的实际应用性和理解没有贡献，甚至可能产生负面影响，现有的LLMs数据污染检测方法只能在预训练期间识别污染，而不能在监督微调期间识别。

https://github.com/zhuohaoyu/KIEval

1 引言

随着大型语言模型（LLMs）的出现，人工智能的格局已经发生了显著变化，它们在各种自然语言理解和生成任务中发挥了关键作用。为了更好地理解LLMs的能力和弱点，它们有效的评估变得越来越重要。

LLMs的自动评估方法通常分为两类：基于静态数据集的评估和基于LLM的评估。前者要求被评估的LLMs生成包含预定义问题的选择或答案的短文本，以挑战它们的知识。后者，也称为LLM作为评委，通常依赖LLM评估者来评估模型在给定问题或指令下的输出。