MT-Eval: A Multi-Turn Capabilities Evaluation Benchmark for Large Language Models

本文是LLM系列文章，针对《MT-Eval: A Multi-Turn Capabilities Evaluation Benchmark for Large Language Models》的翻译。

摘要

在不同的现实世界应用程序中，越来越多地依赖大型语言模型（LLM）进行复杂的多轮对话。然而，现有的基准主要集中在单轮评估上，忽略了模型在多轮交互中的能力。为了解决这一差距，我们引入了MT Eval，这是一个旨在评估多轮会话能力的综合基准。通过分析人类LLM对话，我们将互动模式分为四种类型：回忆、扩展、精炼和后续。我们通过扩充现有数据集或使用GPT4创建新的示例来为每个类别构建多轮查询，以避免数据泄露。为了研究影响多轮能力的因素，我们创建了1170个多轮查询的单轮版本，并比较了性能。我们对11个知名LLM的评估表明，虽然闭源模型通常超过开源模型，但某些开源模型在特定任务中超过了GPT3.5-Turbo。我们观察到，在大多数模型中，与单轮设置相比，多轮设置的性能显著下降，这与模型的基本能力无关。此外，我们确定到相关内容的距离和对错误传播的易感性是影响多轮性能的关键因素。MTEval公开发布，以鼓励未来对更强大的会话模型进行研究。

1 引言

2 相关工作

3 MT-Eval

4 实验

5 结论

MT Eval是系统评估和理解LLM多轮会话能力的重要第一步。我们的实验表明，当前模型