江大白 | 六大顶流开源多模态大模型，13大场景横向测评实例！

本文来源公众号“江大白”，仅用于学术分享，侵权删，干货满满。

原文链接：六大顶流开源多模态大模型，13大场景横向测评实例！

导读

7月以来，国内开源多模态大模型卷出新高度，为此本文选取了6款代表性模型进行横向评测，覆盖13个核心场景任务，从图像理解、文本推理、表格识别等进行全面测评，帮助大家解这些模型在不同任务下的真实表现和适用场景，希望对大家有所帮助！

前几天有群友问我，目前开源多模态大模型有哪些比较强，我给了几个最近出的几个国内的开源模型。但老实说，真没横向对比过，我没法说哪个更好。

不过，主打有求必应，这不马上就安排上了嘛！哈哈哈哈~~

我就给大家带来一波横测，有7月开源的智谱的GLM-4.1V-9B-Thinking、昆仑万维的Skywork-R1V3、阶跃的Step3，还有之前开源的千问的Qwen2.5-VL-72B、书生的InternVL3-78B、百度的ERNIE-4.5-VL-424B-A47B。

总共6大开源多模态模型，我设计了13个场景进行测试，看看孰强孰弱。

叠甲环节，以下仅代表个人观点，测试可能不全面，所以建议各位自己使用时，可以在自己的场景下用自己的数据，进行小批量测试。

切记，实践是检验真理的唯一标准！

先说结论

• 开源多模态模型整体对色彩的把握程度不高，色盲测试不理想，其中step3、ernie、glm4.1-v略好

• 目标对比任务，所有模型全军覆没，反映出现在多模态大模型对图片切割的颗粒度仍有一些问题；

• 数学推理、理解计算任务，skywork-r1v3较好；

• 世界知识跟训练集相关，几个开源模型都会将上海金茂大厦识别成上海中心大厦，应该上海中心大厦数据较多导致；

• 空间变换，普遍不好，不过skywork-r1v3看对了主视图，增加难度后这些模型都不行；

• 表格识别任务，依旧qwen2.5-vl能出来，其他都不行；

• 图片排序任务，只有skywork-r1v3将一副图排序正确，但是“先菌子后小人”的排列都没对；

• 网页复刻任务，step3、glm4.1-v审美较好，其他可以复刻，但有点丑；

• OCR、目标识别、报告分析任务模型效果普遍偏好，个别模型效果有出入；

• skywork-r1v3在回复的时候时常是英文，尤其是think部分，要硬性增加中文回答字样，其他模型不需要，可能和其训练数据有关；

• 没测视频，视频本质是多图，目标对比、图片排序、空间变换、空间逻辑等本身就考验了多图理解的能力。

总的来说，极度节省资源用glm4.1-v，OCR、表格解析等用qwen2.5-vl，数学/逻辑深度推理skywork-r1v3不错，均衡internvl3，有资源部署step3，ernie有点太大了~

OCR识别

这个应该是多模态大模型最常用的一个内容，较为基础，主要考察多模态大模型的内容提取能力，为了增加难度，上手写体。

Prompt：请识别图中的文本内容，言简意赅。

来自网络

GLM-4.1V-9B-Thinking：回答正确

Skywork-R1V3： 回答正确。

Qwen2.5-VL-72B：回答正确

InternVL3-78B：回答正确

Step3：回答正确

ERNIE-4.5-VL-424B-A47B：回答正确

表格识别

这个是我之前常测的一个内容，很多多模态大模型都不行，主考察多模态大模型的内容提取和指令跟随能力，需要将表格图片用HTML进行还原。

Prompt：

## Role
你是一位有多年经验的OCR表格识别专家。## Goals需要通过给定的图片，识别表格里的内容，并以html表格结果格式输出结果。## Constrains- 需要认识识别图片中的内容，将每个表格单元格中的内容完整的识别出来，并填入html表格结构中；- 图片中的表格单元格中可能存在一些占位符需要识别出来，例如"-"、"—"、"/"等；- 输出表格结构一定遵循图片中的结构，表格结构完全一致；- 特别注意图片中存在合并单元格的情况，结构不要出错；- 对于内容较多的图片，一定要输出完整的结果，不要断章取义，更不要随意编造；- 图片内容需要完整识别，不要遗漏，同时注意合并单元；- 最终输出结果需要是html格式的表格内容。## Initialization请仔细思考后，输出html表格结果。

GLM-4.1V-9B-Thinking：错了一点点

Skywork-R1V3：回答错误

Qwen2.5-VL-72B：结果正确，错综复杂的表格结构可以识别出来

InternVL3-78B：回答错误

Step3：回答错误

ERNIE-4.5-VL-424B-A47B：回答错误

理解计算

主要考察多模态大模型的内容理解能力、计算能力，上传一个GDP表格，找到最大值并计算占比。

Prompt：找到2024年GDP值最大的省份，并且计算占全国GDP的百分之多少？

2024年总和=1340312.8

GLM-4.1V-9B-Thinking：最大值找到，但总数没算对。

Skywork-R1V3：最大值找到，总数也算对了，牛逼。

Qwen2.5-VL-72B：最大值找到，但是总数根本没计算，没有理解第二题。

InternVL3-78B：最大值找到，但是总数根本没计算，没有理解第二题

Step3：最大值找到，但总数没算对。

ERNIE-4.5-VL-424B-A47B：最大值找到，但总数没算对。

网页复刻

上传一个截图，让多模态大模型进行还原，主要考察多模态大模型的审美和代码能力。

Prompt：请帮我1：1还原这个网页内容，用HTML呈现。

GLM-4.1V-9B-Thinking：还原度很高

Skywork-R1V3：看起来确实在尝试生成方块，但是有幻

Qwen2.5-VL-72B：复刻出来，但有点丑

InternVL3-78B：复刻出来，但有点丑

Step3：复刻出来，样式还不错，但有点画蛇添足了，

ERNIE-4.5-VL-424B-A47B：复刻出来，但有点丑

报告分析

主要考察多模态大模型的内容理解能力、知识储备的能力，上传一个体检报告，看看能不能分析出来问题，以及相关的注意事项。

Prompt：请帮我解读一下报告内容。

我的报告，PS：大家都检查检查，注意身体

GLM-4.1V-9B-Thinking：分析的很详细，给出的总结建议也很到位。

Skywork-R1V3：分析的很详细，给出的总结建议也很到位。

Qwen2.5-VL-72B：分析的很详细，但没给相关的建议。

InternVL3-78B：只列出了指标，没有给相应的总结建议。

Step3：分析的很详细，给出的总结建议也很到位。

ERNIE-4.5-VL-424B-A47B：分析的很详细，给出的总结建议也很到位。

目标识别

主要考察多模态模型对事物的识别能力，让模型判断事物是否准确、或者查东西的个数。

Prompt：图片上是两只狗对吗？

GLM-4.1V-9B-Thinking：回答正确。

Skywork-R1V3：回答正确。

Qwen2.5-VL-72B：回答正确。

InternVL3-78B：回答正确。

Step3：回答正确。

ERNIE-4.5-VL-424B-A47B：回答正确。

Prompt：告诉我桌子上菇娘儿的个数。

（好多南方的小伙伴没吃过，超级好吃哟~）

GLM-4.1V-9B-Thinking：回答正确。

Skywork-R1V3：回答正确。

Qwen2.5-VL-72B：回答正确。

InternVL3-78B：回答错误。

Step3：回答正确。

ERNIE-4.5-VL-424B-A47B：回答错误。

目标对比

主要考察多模态模型对图片细致内容解析及分析的能力，还有多图对比的能力。

Prompt：找到图片中奔跑的人，并返回行列序号，比如：几行几列。

正确答案是6行10列

来自网络

GLM-4.1V-9B-Thinking：回答错误，但是是最接近答案的了。

Skywork-R1V3：回答错误。

Qwen2.5-VL-72B：：回答错误。

InternVL3-78B：：回答错误。

Step3：：回答错误。

ERNIE4.5-VL-424B-A47B：：回答错误。

Prompt：找到不开心的小恐龙，并返回行列序号，比如：几行几列。

正确答案是11行1列

来自网络

GLM-4.1V-9B-Thinking：回答错误，没有不开心的小恐龙，哈哈哈哈。

Skywork-R1V3：回答错误。

Qwen2.5-VL-72B：回答错误。

InternVL3-78B：回答错误。

Step3：回答错误。

ERNIE-4.5-VL-424B-A47B：回答错误。

Prompt：找不两幅图片之间的15处差异。

来自网络

GLM-4.1V-9B-Thinking：回答错误，部分不一样的地方是对的，但是有的地方在瞎答。

Skywork-R1V3：回答错误，部分不一样的地方是对的，但是描述大多数是错的。

Qwen2.5-VL-72B：回答错误，感觉在乱回答

InternVL3-78B：回答错误，部分不一样的地方是对的，但是描述大多数是错的。

Step3：回答错误，部分不一样的地方是对的，但是描述大多数是错的。

ERNIE-4.5-VL-424B-A47B：回答错误，部分不一样的地方是对的，但是描述大多数是错的。

数学做题

数学题是必测了，主要是看多模态大模型的数学能力，测试2025年高考题。

Prompt：解题

GLM-4.1V-9B-Thinking：前两问正确，最后一问错误，应为3√3+3√2

Skywork-R1V3：前两问正确，最后一问错误

Qwen2.5-VL-72B：前两问正确，最后一问错误

InternVL3-78B：第一问正确，后两问错误

Step3：第一问正确，后两问错误

ERNIE-4.5-VL-424B-A47B：第一问正确，后两问错误。

图片排序

主要考察多模态模型能否理清多张图片之间逻辑关系的，能否理解世界事件发展的规律。

Prompt：根据图中显示的多个场景，将最有可能发生的事件按顺序排列。

正确答案CADB，走到商店，买雪糕，滑倒，打到脸上

来自网络

GLM-4.1V-9B-Thinking：回答错误

Skywork-R1V3：回答正确

Qwen2.5-VL-72B：回答错误

InternVL3-78B：回答错误

Step3：回答错

ERNIE-4.5-VL-424B-A47B：回答错误

Prompt：根据图中显示的多个场景，将最有可能发生的事件按顺序排列。

正确答案CDAB，有蘑菇，采摘并吃掉，有点晕，产生了幻觉蘑菇会走了

来自网络

GLM-4.1V-9B-Thinking：回答错误

Skywork-R1V3：回答错误

Qwen2.5-VL-72B：回答错误

InternVL3-78B：回答错误

Step3：回答错误

ERNIE-4.5-VL-424B-A47B：回答错误

空间逻辑

考察多模态模型在理解图片的基础上进行深度的逻辑分析，直接上考公逻辑题了。

Prompt：请回答。

正确答案为A。

来自网络

GLM-4.1V-9B-Thinking：回答错误。

Skywork-R1V3：回答错误。

Qwen2.5-VL-72B：回答错误。

InternVL3-78B：回答正确。

Step3：回答错误。

ERNIE-4.5-VL-424B-A47B：回答错误。

空间变换

考察多模态模型对图像的空间转换能力。

Prompt：请回答。

来自网络

GLM-4.1V-9B-Thinking：回答错误

Skywork-R1V3：回答正确。

Qwen2.5-VL-72B：回答错误。

InternVL3-78B：回答错误。

Step3：回答错误

ERNIE-4.5-VL-424B-A47B：回答错误。

Prompt：请回答，哪个选项的六面体展开结果是上面的展开图。

正确答案为

来自网络

GLM-4.1V-9B-Thinking：回答错误。

Skywork-R1V3：回答错误。

Qwen2.5-VL-72B：回答错误。

InternVL3-78B：回答错误。

Step3：回答错误。

ERNIE-4.5-VL-424B-A47B：回答错误。

色盲测试

主要考察多模态大模型对颜色的识别能力。

Prompt：图片里有数字吗？如果有的话是什么？

正常者能读出６，红绿色盲者及红绿色弱者读成 5，而全色弱者则全然读不出上述的两个字。

来自网络

GLM-4.1V-9B-Thinking：回答正确

Skywork-R1V3：回答错误。

Qwen2.5-VL-72B：答案错误，但是不知道为什么回答74。

InternVL3-78B：回答错误。

Step3：回答正确。

ERNIE-4.5-VL-424B-A47B：回答正确。

世界知识

考察多模态大模型的世界知识能力，看到标志性建筑，是否可以判断具体地点。

Prompt：朋友拍了一张图片，可以告诉我他是在中国哪个城市拍的吗？

盘锦的红海滩，算是给家乡打一波广子，哈哈哈，十月真的很美~

来自网络

GLM-4.1V-9B-Thinking：回答错误。

Skywork-R1V3：回答正确，就是盘锦红海滩。

Qwen2.5-VL-72B：回答正确。

InternVL3-78B：回答错误。

Step3：回答正确

ERNIE-4.5-VL-424B-A47B：回答正确。

Prompt：朋友拍了一张图片，可以告诉我他是在中国哪个城市拍的吗？

上海金茂大厦，算是标志性建筑了。

GLM-4.1V-9B-Thinking：回答错误。

Skywork-R1V3：回答错误。

Qwen2.5-VL-72B：回答错误，是上海金茂大厦，不是上海中心大厦

InternVL3-78B：

Step3：回答错误

ERNIE-4.5-VL-424B-A47B：回答错误

写在最后

整体测下来，各大开源多模态模型在基础任务上的表现已经可圈可点，

但在空间理解、图像推理、细节对比等高阶任务中，仍存在明显短板，特别是在图像切割的精度、目标对比、空间逻辑链条推理上，尚有一段路要走。

不过，该说不说，现在开源大模型已经越来越好了，国内可用得开源模型GLM、Qwen、Skywork、InternVL、Step等等等，已经比较多了。

更重要的是，这些开源模型不仅意味着技术平权，也意味着生态自由。国产开源大模型，已经不是有没有得用得阶段，现在是选哪个更合适的阶段了。

国内的开源大模型，现在已经是世界开源顶流了，应该没人反对吧！

连openai都有开源模型了（网传泄露），应该是因为国内的一些开源模型，感受到压力了吧。

THE END !

文章结束，感谢阅读。您的点赞，收藏，评论是我继续更新的动力。大家有推荐的公众号可以评论区留言，共同学习，一起进步。