Rethinking Generative Large Language Model Evaluation for Semantic Comprehension

本文是LLM系列文章，针对《Rethinking Generative Large Language Model Evaluation for
Semantic Comprehension》的翻译。

摘要

尽管大型语言模型（LLM）具有复杂的功能，但在有效评估中遇到了一个主要障碍。本文首先回顾了流行的评估方法——多选问题回答（MCQA），它允许直接测量准确性。通过对11个基准的24个模型进行全面评估，我们强调了MCQA的几个潜在缺点，例如，MCQA评估与实际场景中生成开放式响应之间的不一致。作为回应，我们引入了RWQ Elo评级系统，以两人竞争的形式吸引了24名LLM，如GPT-4、GPT-3.5、Google Gemini Pro和LLaMA-1/-2，由GPT-4担任评委。此后，每个LLM都会获得Elo评级。该系统旨在反映真实世界的使用情况，为此，我们编制了一个名为“真实世界问题”（RWQ）的新基准，包括20772个真实用户查询。此外，我们还深入分析了我们系统的特点，并将其与AlpacaEval和MT Bench等之前的排行榜进行了比较。我们的分析揭示了RWQ Elo系统的稳定性、注册新模型的可行性及其重塑LLM排行榜的潜力。

1 引言

2 相关工作

3 重新思考MCQA评估

4 RWQ-Elo系统用于LLM评估

5 结论

在本文中，我们：1）批判性地重新评估了广泛使用的用于评估LLM的MCQA方法，确定了几个基本的局限性；以及2）呈现RWQ Elo系统，该系统被设计为反映实际使用场景。我们通过多轮比赛对24个LLM进行了广泛的评估，由GPT-4担任评委，并利用我们新开发的RWQ