大模型评测榜单

文本生成

1.Chatbot Arena添加链接描述

• Chatbot Arena - 一个面向大型语言模型 (LLM) 的众包随机对战平台。我们使用超过 300 万用户投票来计算 Elo 评分。
• MMLU——一项用于测量模型在 57 项任务上的多任务准确性的测试。
• Arena-Hard-Auto——针对指令调整的 LLM 的自动评估工具

2.LiveBench添加链接描述
一款专为 LLM 设计的基准测试集，在设计时充分考虑了测试集污染和客观评估。它有一下特性：

• LiveBench 通过定期发布新问题来限制潜在的污染
• 每个问题都有可验证的、客观的真实答案，无需llm评估
• 目前包含 7 个类别的 21 个不同任务，将随着时间的推移发布新的、更难的任务

3.LiveCodeBench添加链接描述
LiveCodeBench是一个全面且无污染的 LLM 代码评估基准，从LeetCode、AtCoder和Codeforces平台上的定期竞赛中收集问题 ，并使用它们构建一个整体基准，用于持续评估各种与代码相关的场景中的LLM。LiveCodeBench 尤其关注更广泛的代码相关功能，例如自我修复、代码执行和测试输出预测，而不仅仅是代码生成。目前，LiveCodeBench 托管了 2023 年 5 月至 2024 年 2 月期间发布的 300 多个高质量编码问题。我们在 LiveCodeBench 场景下评估了 29 个 LLM，并提出了先前基准测试中未曾揭示的新颖实证发现。

视频