MT-Eval: A Multi-Turn Capabilities Evaluation Benchmark for Large Language Models

UnknownBody

已于 2024-03-06 11:09:11 修改

阅读量281

点赞数

CC 4.0 BY-SA版权

分类专栏： LLM Evaluation 文章标签：机器翻译语言模型人工智能

于 2024-03-06 11:08:18 首次发布

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/136499790

LLM Evaluation 同时被 2 个专栏收录

97 篇文章 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

LLM 日更

828 篇文章

已下架不支持订阅

本文提出MT-Eval基准，用于评估大型语言模型在多轮对话中的能力。通过分析不同类型的交互模式，揭示了模型在多轮交互中的挑战，如回忆、扩展、精炼和后续。实验显示，尽管闭源模型通常表现更好，但某些开源模型在特定任务中超越了GPT3.5-Turbo。多轮性能的下降与模型的基本能力无关，而与相关内容的距离和错误传播敏感性有关。MT-Eval的发布旨在促进对更强大会话模型的研究。

本文是LLM系列文章，针对《MT-Eval: A Multi-Turn Capabilities Evaluation Benchmark for Large Language Models》的翻译。

摘要

在不同的现实世界应用程序中，越来越多地依赖大型语言模型（LLM）进行复杂的多轮对话。然而，现有的基准主要集中在单轮评估上，忽略了模型在多轮交互中的能力。为了解决这一差距，我们引入了MT Eval，这是一个旨在评估多轮会话能力的综合基准。通过分析人类LLM对话，我们将互动模式分为四种类型：回忆、扩展、精炼和后续。我们通过扩充现有数据集或使用GPT4创建新的示例来为每个类别构建多轮查询，以避免数据泄露。为了研究影响多轮能力的因素，我们创建了1170个多轮查询的单轮版本，并比较了性能。我们对11个知名LLM的评估表明，虽然闭源模型通常超过开源模型，但某些开源模型在特定任务中超过了GPT3.5-Turbo。我们观察到，在大多数模型中，与单轮设置相比，多轮设置的性能显著下降，这与模型的基本能力无关。此外，我们确定到相关内容的距离和对错误传播的易感性是影响多轮性能的关键因素。MTEval公开发布，以鼓励未来对更强大的会话模型进行研究。