MT-Bench-101: A Fine-Grained Benchmark for Evaluating Large Language Models in Multi-Turn Dialogues

本文是LLM系列文章，针对《MT-Bench-101: A Fine-Grained Benchmark for Evaluating Large
Language Models in Multi

摘要

大型语言模型（LLM）的出现极大地增强了对话系统。然而，全面评估LLM的对话能力仍然是一个挑战。以前的基准主要关注单轮对话，或对多轮对话进行粗粒度和不完整的评估，忽略了现实对话的复杂性和细粒度的细微差别。为了解决这个问题，我们介绍了MT-Bench101，它专门用于评估LLM在多轮对话中的细粒度能力。通过对真实的多轮对话数据进行详细分析，我们构建了一个三层能力分类法，包括13个不同任务中1388个多轮对话中的4208个回合。然后，我们基于MT-Bench-101评估了21种流行的LLM，从能力和任务的角度进行了全面分析，并观察了不同任务中LLM在对话转折中表现的不同趋势。进一步的分析表明，无论是使用通用对准技术还是聊天专用设计，LLM的多轮能力都没有得到明显的增强。大量的案例研究表明，我们设计的任务准确地评估了相应的多轮能力。

1 引言

2 相关工作

3 MT-Bench-101

4 实验

5 结论

本文基于现有的人类LLM交互数据和教育见解，介绍了多回合聊天能力的全面分层分类法。我们使用MT-Bench-101评估了21个LLM，发现无论是对齐技术还是聊天设计都不能显