继续评测,本期安排上了应用于法律行业的大模型能力评测,涉及律师资格考试的专业知识评测。同时,律师等领域不同类型、不同阶段、不同科目的评测,都在爆肝输出中,敬请期待。
一、评测结论:
百度系大模型得分第一!腾讯系大模型包揽第2、第3名、第4名,DeepSeek排名第5名,前5名中hunyuan-large和DeepSeek-R1是唯二的开源模型。
二、评测维度:
针对律师资格考试所涉及的专业知识,构建评测题集(累计3000+),进行评测。
各科目完整评测题集及结果详见:https://github.com/jeinlee1991/chinese-llm-benchmark
三、评测方法:
根据以上评测维度,输出3000+选择题,分别让各个大模型进行回答,根据结果进行打分,并统计每个大模型的答题准确率,输出综合得分和排名。每一个大模型评测的评测题集、评测得分、评测错题,均可见、可查询、可溯源!
我们的目标是:
通过评测为大家透视化呈现,各个大模型的能力边界,以支持大家高效使用!
*评测综合得分排名(图)|绿色(闭源),蓝色(开源)

*实测大模型列表、得分和排名:

最低0.47元/天 解锁文章
967

被折叠的 条评论
为什么被折叠?



