【Open llM Leaderboard】 是全球最大的大模型和数据集社区 Huggingface 推出的开源大模型排行榜单。
Hugging face 使用 Eleuther A|语言模型评估框架对模型进行多个关键基准测试评估。比如:指令遵循评估 (IFEval)、启发式数学能力倾向测试 (MATH)、研究生级 Google 验证问答 (GPQA)、多步软推理 (MuSR)、大规模多任务语言理解 - 专业版 (MMLU-Pro)、二氧化碳排放量等。
所发图片包含5个维度的榜单:
(1)默认综合榜
(2)适合边缘设备(For Edge Devices、参数≤3B):超快推理
(3)适合消费类硬件 (For Consumers、3B-7B):快速推理
(4)适合中端机型(Mid-range、7B-65B):整体性能均衡
(5)适合 GPU充沛 (For GPU-rich、65B+):最先进性能
(1)默认综合榜
(2)适合边缘设备(For Edge Devices、参数≤3B):超快推理
(3)适合消费类硬件 (For Consumers、3B-7B):快速推理
(4)适合中端机型(Mid-range、7B-65B):整体性能均衡
(5)适合 GPU充沛 (For GPU-rich、65B+):最先进性能
值得一提的是,最先进性能的开源方案榜单前几位,追根溯源,均迭代于Qwen/Qwen2.5-72B(阿里的千问、国人之光 👍)。