论文翻译：ICML-2024.Kaijie Zhu.DyVal 2: Dynamic Evaluation of Large Language Models by Meta Probing

DyVal 2: Dynamic Evaluation of Large Language Models by Meta Probing Agents

https://arxiv.org/pdf/2402.14865

动态评估大型语言模型的元探测代理

摘要

大型语言模型（LLMs）的评估由于数据污染问题引起了社区的极大关注。现有的工作设计了使用特定任务的明确算法的评估协议，这些协议不易扩展到多样化的场景。此外，当前的评估基准只能提供整体基准结果，不能支持对LLMs能力的细粒度和多方面的分析。在本文中，我们提出了元探测代理（MPA），这是一种受心理测量学启发的通用动态评估协议，用于评估LLMs。MPA设计了探测和判断代理，以自动将原始评估问题根据心理测量学理论转换为新的评估问题，涉及三种基本认知能力：语言理解、问题解决和领域知识。这些基本能力也是动态可配置的，允许多方面的分析。我们使用MPA进行了广泛的评估，并发现大多数LLMs的表现较差，表明有改进的空间。我们的多方面分析展示了基本能力之间的强相关性以及模型大小上的隐含马太效应，即更大的模型具有更强的能力相关性。MPA也可以作为数据增强方法来增强LLMs。