文本生成
1.Chatbot Arena添加链接描述
- Chatbot Arena - 一个面向大型语言模型 (LLM) 的众包随机对战平台。我们使用超过 300 万用户投票来计算 Elo 评分。
- MMLU——一项用于测量模型在 57 项任务上的多任务准确性的测试。
- Arena-Hard-Auto——针对指令调整的 LLM 的自动评估工具
2.LiveBench添加链接描述
一款专为 LLM 设计的基准测试集,在设计时充分考虑了测试集污染和客观评估。它有一下特性:
- LiveBench 通过定期发布新问题来限制潜在的污染
- 每个问题都有可验证的、客观的真实答案,无需llm评估
- 目前包含 7 个类别的 21 个不同任务,将随着时间的推移发布新的、更难的任务
3.LiveCodeBench添加链接描述
LiveCodeBench是一个全面且无污染的 LLM 代码评估基准,从LeetCode、AtCoder和Codeforces平台上的定期竞赛中收集问题 ,并使用它们构建一个整体基准,用于持续评估各种与代码相关的场景中的LLM。LiveCodeBench 尤其关注更广泛的代码相关功能,例如自我修复、代码执行和测试输出预测,而不仅仅是代码生成。目前,LiveCodeBench 托管了 2023 年 5 月至 2024 年 2 月期间发布的 300 多个高质量编码问题。我们在 LiveCodeBench 场景下评估了 29 个 LLM,并提出了先前基准测试中未曾揭示的新颖实证发现。

最低0.47元/天 解锁文章
1071

被折叠的 条评论
为什么被折叠?



