KIEval: A Knowledge-grounded Interactive Evaluation Framework for Large Language Models

本文是LLM系列文章，针对《KIEval: A Knowledge-grounded Interactive Evaluation Framework for
Large Language Models》的翻译。

摘要

大型语言模型（LLM）的自动评估方法受到数据污染的阻碍，导致对其有效性的评估被夸大。现有的策略旨在检测受污染的文本，侧重于量化污染状态，而不是准确衡量模型性能。在本文中，我们介绍了KIEval，这是一个基于知识的交互式评估框架，它首次结合了LLM驱动的“交互者”角色，以实现动态污染弹性评估。从涉及特定领域知识的传统LLM基准中的一个问题开始，KIEval利用动态生成的、多轮的、以知识为中心的对话来确定模型的回答是仅仅是对基准答案的回忆，还是表现出在更复杂的对话中应用知识的深刻理解。在五个数据集的七个领先LLM上进行的广泛实验验证了KIEval的有效性和泛化能力。我们还发现，数据污染对模型在现实世界中的适用性和理解没有贡献，甚至没有负面影响，现有的LLM污染检测方法只能在预训练中识别污染，而不能在监督微调过程中识别污染。

1 引言

2 相关工作

3 方法

4 实验

5 结论

KIEval提供跨各个领域的LLM的动态评估和分析，通过结构化对话而不是依赖固定的模板或指令来评估生成能力和领域知识，降低数据污染的风险，提高评估的可靠性，同时保持与人类偏好的一致性。总体而言，我们的研究结果提出了几个关键见解：

• 基于静态数据集的基准测试可能无法全面反映LLM之间的性能差异，此类数据集可能会低估这些差异。
• 关于基准数据集测试分割的训练模型主要提高了对答案的回忆，而不是真正提