Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference

本文是LLM系列文章，针对《Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference》的翻译。

摘要

大型语言模型（LLM）解锁了新的功能和应用程序；然而，评估与人类偏好的一致性仍然带来重大挑战。为了解决这个问题，我们介绍了Chatbot Arena，这是一个基于人类偏好评估LLM的开放平台。我们的方法采用了成对比较的方法，并通过众包利用来自不同用户群的输入。该平台已经运行了几个月，累积了超过24万张选票。本文描述了该平台，分析了我们迄今为止收集的数据，并解释了我们正在使用的行之有效的统计方法，以高效准确地评估和排序模型。我们确认，众包问题具有足够的多样性和歧视性，众包人工投票与专家评分者的投票非常一致。这些分析共同为Chatbot Arena的可信度奠定了坚实的基础。由于其独特的价值和开放性，Chatbot Arena已成为最受引用的LLM排行榜之一，被领先的LLM开发者和公司广泛引用。我们的演示在https://chat.lmsys.org可用。

1 引言

2 相关工作

3 人类偏好数据收集

4 从成对比较到排序

5 高效近似排序

6 数据分析

<