本文是LLM系列文章,针对《KIEval: A Knowledge-grounded Interactive Evaluation Framework for
Large Language Models》的翻译。
摘要
大型语言模型(LLM)的自动评估方法受到数据污染的阻碍,导致对其有效性的评估被夸大。现有的策略旨在检测受污染的文本,侧重于量化污染状态,而不是准确衡量模型性能。在本文中,我们介绍了KIEval,这是一个基于知识的交互式评估框架,它首次结合了LLM驱动的“交互者”角色,以实现动态污染弹性评估。从涉及特定领域知识的传统LLM基准中的一个问题开始,KIEval利用动态生成的、多轮的、以知识为中心的对话来确定模型的回答是仅仅是对基准答案的回忆,还是表现出在更复杂的对话中应用知识的深刻理解。在五个数据集的七个领先LLM上进行的广泛实验验证了KIEval的有效性和泛化能力。我们还发现,数据污染对模型在现实世界中的适用性和理解没有贡献,甚至没有负面影响,现有的LLM污染检测方法只能在预训练中识别污染,而不能在监督微调过程中识别污染。