等了大半年的Qwen3-VL终于也开源了！

Qwen3-VL模型全面评测
最新推荐文章于 2025-10-07 09:37:32 发布
转载 最新推荐文章于 2025-10-07 09:37:32 发布 · 1.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247680975&idx=2&sn=37d99a6c87761bb30309fc2685bc8ca0&chksm=cf92831a110a6136b3d11937522d68865e64e6aeb6ceb03714bbc32df3407433faf63dffe053&scene=126&sessionid=0

作者 | 刘聪NLP 来源 |  刘聪NLP

抓着云栖大会，猛开源是吧，两天时间，开源了Qwen3-Omni系列模型、Qwen-Image-Edit-2509模型、Qwen3-VL模型、Qwen3Guard-Gen系列模型，共计12个。

还有一些没开源的API，比如Qwen-TTS、Qwen3-Coder-Plus、Qwen3-Max、Qwen3-LiveTranslate等等等

PS：我恨俊旸呀！天天凌晨开源~

说实话，根本测不完，都知道我一直在等Qwen3的VL模型，其他模型先放一放，今天先来测试一波VL模型。

先来看看模型相关内容，Qwen3-VL相较于Qwen2.5-VL有以下方面改进，

  • vision encoder部分，Qwen3-VL沿用之前的VisionPatchEmbed，使用Conv3d，不过patch_size从14扩到了16，激活函数从silu变成gelu_pytorch_tanh

  • projector部分，从之前的MLP-based Projector，额外增加DeepStack，把vision encoder中，8、16、24三层的特征，插入到LLM中

  • llm decoder部分，采用Qwen3模型，可以是Dense模型，也可以是MoE模型，暂时开的Qwen3-VL-235B-A22B是MoE模型，位置编码MRoPE-Interleave，t,h,w 交错分布的形式，对长视频理解效果更好。

Qwen2.5-VL的相关细节就不多说了，感兴趣的可以去看Paper，

https://arxiv.org/abs/2502.13923

Qwen3-VL的纯文本能力与Qwen3-235B-A22B-2507媲美，相关榜单，

HF：https://huggingface.co/collections/Qwen/qwen3-vl-68d2a7c1b8a8afce4ebd2dbe

下面带来实测，懒人速览版：

  • 表格识别，Qwen3-VL依旧牛逼，本来Qwen2.5-VL就很强

  • 对色彩的把握程度变高，之前色盲测试一堆问题，现在多次实验，结果均正确

  • 图片排序任务，雪糕对了，菌子错了，但也解释比较合理，相较于Qwen2.5提高很多，并且比主流开源VL模型效果要好

  • 网页复刻任务效果比较差，这个跟榜单coding提高有点不同，但我测试了几个复刻，效果都一般

  • 空间变换能力较之前有提高，可以正确识别出主视图，但其他较复杂变换，还是不行

  • 数据、推理计算很强，尤其是是推理计算，比主流开源VL模型都要好

  • 目标对比不好，但可以通过grouding正确识别，感觉还是图片编码切割的问题，现在VL模型都一样

  • 世界知识跟训练集相关，上海金茂大厦依然识别成上海中心大厦

  • 我发现，think版本相较于instruct版本会过度思考，而导致回答错误

  • 当然GUI本质是在屏幕理解并找到正确内容位置，因为grouding不错，GUI能力也不错

  • 有的结果差不多，instruct和think我就放一个了

  • 整体提高很多，应该是现在开源VL的Top了

OCR识别

考察内容提取能力，为了增加难度，上手写体。

Prompt：请识别图中的文本内容，言简意赅。

Qwen3-VL-235B-A22B-Instruct：回答正确

Qwen3-VL-235B-A22B-Thinking：回答正确

表格识别

考察内容提取和指令跟随能力，需要将表格图片用HTML进行还原。

Prompt：

## Role
你是一位有多年经验的OCR表格识别专家。## Goals需要通过给定的图片，识别表格里的内容，并以html表格结果格式输出结果。## Constrains- 需要认识识别图片中的内容，将每个表格单元格中的内容完整的识别出来，并填入html表格结构中；- 图片中的表格单元格中可能存在一些占位符需要识别出来，例如"-"、"—"、"/"等；- 输出表格结构一定遵循图片中的结构，表格结构完全一致；- 特别注意图片中存在合并单元格的情况，结构不要出错；- 对于内容较多的图片，一定要输出完整的结果，不要断章取义，更不要随意编造；- 图片内容需要完整识别，不要遗漏，同时注意合并单元；- 最终输出结果需要是html格式的表格内容。## Initialization请仔细思考后，输出html表格结果。

Qwen3-VL-235B-A22B：回答正确

再来一个，字多的

Qwen3-VL-235B-A22B：回答正确

网页复刻

上传一个截图，让多模态大模型进行还原，考察审美和代码能力。

Prompt：请帮我1：1还原这个网页内容，用HTML呈现。

Qwen3-VL-235B-A22B：有点奇怪，不好看

报告分析

考察内容理解能力、知识储备的能力，上传一个体检报告，看看能不能分析出来问题，以及相关的注意事项。

Prompt：请帮我解读一下报告内容。

Qwen3-VL-235B-A22B：解读正确

理解计算

考察内容理解能力、计算能力，上传一个GDP表格，找到最大值并计算占比。

Prompt：找到2024年GDP值最大的省份，并且计算占全国GDP的百分之多少？

2024年总和=1340312.8

Qwen3-VL-235B-A22B-Instruct：计算正确，很强，之前模型都很难对

Qwen3-VL-235B-A22B-Thinking：计算正确

目标识别

主要考察多模态模型对事物的识别能力，让模型判断事物是否准确、或者查东西的个数。

Prompt：图片上是两只狗对吗？

Qwen3-VL-235B-A22B：回答正确

Prompt：告诉我桌子上菇娘儿的个数。

Qwen3-VL-235B-A22B：回答错误，应该是10个

目标对比

主要考察多模态模型对图片细致内容解析及分析的能力，还有多图对比的能力。

Prompt：找到图片中奔跑的人，并返回行列序号，比如：几行几列。

正确答案是6行10列

Qwen3-VL-235B-A22B-Instruct：回答错误

Qwen3-VL-235B-A22B-Thinking：回答错误

Prompt：找到不开心的小恐龙，并返回行列序号，比如：几行几列。

正确答案是11行1列，11行6列

Qwen3-VL-235B-A22B-Instruct：回答错误

Qwen3-VL-235B-A22B-Thinking：回答错误

Grouding

查看模型定位能力，之前纯文本输出找不到的内容，grouding是可以找到的

Qwen3-VL-235B-A22B-Instruct：

Qwen3-VL-235B-A22B-Thinking：

数学做题

数学题看模型的数学能力，测试2025年高考题。

Prompt：解题

Qwen3-VL-235B-A22B：回答正确，NB之前文本模型最后一问回答有问题，VL竟然对了

图片排序

考察模型能否理清多张图片之间逻辑关系的，能否理解世界事件发展的规律。

Prompt：根据图中显示的多个场景，将最有可能发生的事件按顺序排列。 正确答案CADB，走到商店，买雪糕，滑倒，打到脸上

Qwen3-VL-235B-A22B：回答正确，牛逼，完美理解

Prompt：根据图中显示的多个场景，将最有可能发生的事件按顺序排列。 正确答案CDAB，有蘑菇，采摘并吃掉，有点晕，产生了幻觉蘑菇会走了

Qwen3-VL-235B-A22B：回答不太对，但是也对，解释的也合理，核心是A-B，还是B-A

空间逻辑

考察模型在理解图片的基础上进行深度的逻辑分析，直接考公逻辑题。

Prompt：请回答。

正确答案为A。

Qwen3-VL-235B-A22B：回答错误，这个回答很长，很长，到最后会出现中英文夹杂的现象，应该是本身Qwen3-235B-A22B的问题。

空间变换

考察模型对图像的空间转换能力。

Prompt：请回答。

Qwen3-VL-235B-A22B：回答正确，可以正确识别主视图

Prompt：请回答，哪个选项的六面体展开结果是上面的展开图。

正确答案为D

Qwen3-VL-235B-A22B：回答错误

色盲测试

考察大模型对颜色的识别能力。

Prompt：图片里有数字吗？如果有的话是什么？

正常者能读出６，红绿色盲者及红绿色弱者读成 5，而全色弱者则全然读不出上述的两个字。

Qwen3-VL-235B-A22B：回答正确

Prompt：图片里有数字吗？如果有的话是什么？

色觉正常的人能清楚地从图中看出数字74，红绿色盲者会看到21，而全色盲者可能看不出数字。

Qwen3-VL-235B-A22B：回答正确

世界知识

考察模型的世界知识能力，看到标志性建筑，是否可以判断具体地点。

Prompt：朋友拍了一张图片，可以告诉我他是在中国哪个城市拍的吗？

Qwen3-VL-235B-A22B：回答正确，可以认出盘锦红海滩

Prompt：朋友拍了一张图片，可以告诉我他是在中国哪个城市拍的吗？

上海金茂大厦，算是标志性建筑了。

Qwen3-VL-235B-A22B：回答错误，上海金茂大厦依然识别不对，识别成上海中心大厦，大概率是上海中心大厦数据较多的问题。

最后想说，等了半年，Qwen3-VL终于出来了，整体效果我还是比较满意的，

相较于之前有很大提高，同时应该也是现在VL模型的Top级别，

不过235B-A22B还是有点大了，期望出个贫民版吧，来个30B-A3B的就很舒服了，

都肝到云栖大会发布，真是肝麻了，一下子更新这么多模型，omni、tts、max我都还没来得及测，

后面测完在更~

开源模型应用落地-qwen模型小试-调用Qwen2-VL-7B-Instruct-更清晰地看世界（一）
以微薄之力，予他人些许温暖.
09-17 2万+
掌握Qwen2-VL提升职业发展增添强大的竞争力
开源模型应用落地-qwen模型小试-调用Qwen2-VL-7B-Instruct-更清晰地看世界-Lora-V100（四）
热门推荐
以微薄之力，予他人些许温暖.
09-26 2万+
使用LLaMA-Factory高效微调qwen2-vl-7b-instruct
阿里重磅发布Qwen3最佳开源LLM，击败 DeepSeek-R1，Llama4
llm_way的博客
04-29 1580
Qwen3 在架构设计上融合了前沿的技术理念，延续并优化了 Transformer 架构。通过精心调整网络层数、注意力机制等关键组件，显著提升了模型对长序列文本的处理能力与效率。
Qwen-VL系列全面解析：从技术突破到应用实践
全世界的博客
06-29 4053
阿里云系列的发展史，简直就是一部"AI视觉进化论"的活教材。这个国产多模态模型从最初的"看图说话"小能手，一路升级成了能处理的全能选手，技术路线走得相当"中国风"——。训练数据从3万亿token暴增到18万亿，中文语料占比超40%，在古诗词理解、中文OCR这些本土化场景建立了绝对优势。架构上玩得更溜，采用优化的ViT编码器，配合动态窗口注意力机制，处理4K图像时显存消耗比GPT-4V直降37%，这波操作堪称"技术减肥"成功案例。要说这系列最惊艳的，还得是它的特别要提的是那个。
2025年10月7日-Qwen3-VL 接口部署全攻略：从源码到 Docker，手把手教你玩转多模态调用
个人技术
10-07 3914
本文介绍了 Qwen3-VL 逆向接口的部署与使用，包括源码下载、环境变量配置、依赖安装及源码和 Docker 两种部署方式，还演示了在 Apifox、dify 中的使用，列出了接口清单，助用户快速集成其多模态能力。
云栖大会，猛开源！Qwen3-VL大模型评测：视觉理解能力的突破与局限！
m0_59162248的博客
09-25 1343
云栖大会期间，阿里开源了12个多模态模型，包括Qwen3-VL等系列模型。Qwen3-VL相较Qwen2.5-VL在视觉编码器、投影器和LLM解码器等方面进行了优化，表现更佳。实测显示，Qwen3-VL在表格识别、OCR、计算推理等方面表现出色，但在网页复刻、目标对比等任务上仍有不足。总体来看，Qwen3-VL是目前开源多模态模型中的佼佼者，综合能力显著提升。
程序员必学收藏：Qwen3-VL全面解析 - Qwen系列最强视觉语言模型架构与应用详解
2401_85373691的博客
09-30 3062
Qwen3-VL是Qwen系列最强视觉语言模型，具备长上下文视频理解(256K-1M)和高级空间感知能力。其架构采用视觉编码器+语言模型解码器设计，将视觉信息作为特殊token深度注入到语言模型多个层级，实现深度视觉-语言交互。支持多图多视频混合输入，能理解物体位置、视角和遮挡关系，代表多模态学习从"模态拼接"向"统一建模"的转变。
重磅首发！本地部署+真实测评阿里开源视觉大模型Qwen2.5-VL-7B-Instruct和Qwen2.5-VL-72B！轻松识别提取发票！全方位测评见证AI视觉理解能力的质的飞跃，图像识别不再是难题
m0_71165399的博客
01-30 4043
2025年1月，阿里巴巴通义千问团队发布了全新的视觉语言模型——Qwen2.5-VL-7B-Instruct，作为Qwen2.5-VL系列的一员，标志着视觉语言理解领域的一次重要突破。这一中型参数模型，凭借其卓越的性能和多样化的功能，迅速吸引了业界的广泛关注。
开源模型应用落地-qwen模型小试-调用Qwen2-VL-7B-Instruct-更清晰地看世界-vLLM+Docker（七）
以微薄之力，予他人些许温暖.
10-11 2万+
通过vLLM的Docker镜像，快速体验Qwen2-VL-7B-Instruct推理效果
本地部署 Qwen2.5-VL 开源视觉大模型！
海阔凭鱼跃天高任鸟飞的博客
03-07 1496
Qwen2.5-VL 是 Qwen 推出的全新旗舰视觉语言模型，较其前身 Qwen2-VL 有了重大飞跃。该模型不仅能够掌握花、鸟、鱼和昆虫等常见物体的识别，还能分析图像中的复杂文本、图表、图标、图形和布局，为多模态 AI 树立了新标准。此外，Qwen2.5-VL 被设计为高度代理，并且能够进行动态推理和工具指导——无论是在计算机还是手机上使用。该模型的高级功能包括能够理解长度超过一小时的视频、精确定位其中的特定事件，并通过生成边界框或点来准确定位图像中的对象。
阿里Qwen3-VL开源：2350亿参数视觉大模型如何重塑工业质检与编程效率
gitblog_00925的博客
10-07 616
**导语**：2025年9月24日，阿里在云栖大会上正式开源视觉语言模型Qwen3-VL-235B-A22B-Instruct，其2350亿参数规模与"视觉代理+代码生成"双重能力，直接对标Gemini 2.5 Pro，在工业质检、前端开发等领域掀起效率革命。 ### 行业现状：多模态AI进入"感知-行动"融合阶段 当前视觉语言模型正突破"看图说话"的初级阶段，向"理解-推理-行动"全链路进化。...
一文通透Qwen VL系列：从Qwen-VL、Qwen2-VL(提出了M-RoPE且应用在了我司提问VLM系统中)到Qwen2.5-VL、Qwen3-VL
结构之法 算法之道
02-11 1万+
之所以关注到Qwen多模态大模型，是因为去年我司在实现提问VLM时(今年过年之前便已嵌入在七月在线官网教育层面的每一个视频中)，当时面临两个模型的选择，一个是GPT4o，一个便是Qwen2-vl-72b最终因为后者的性价比更高，便选择了Qwen2-vl-72b。
Qwen3：重磅开源，重夺开源第一！（包含详细使用教程）
sherlockMa的博客
04-29 5619
Qwen3 代表了人类在通往通用人工智能（AGI）和超级人工智能（ASI）旅程中的一个重要里程碑。通过扩大预训练和强化学习的规模，之子实现了更高层次的智能。作者无缝集成了思考模式与非思考模式，为用户提供了灵活控制思考预算的能力。此外，作者还扩展了对多种语言的支持，帮助全球更多用户。
0代码，5分钟，搭建出企业级文档处理MCP Agent
z551646的博客
05-27 916
文档质量决定了大模型理解的上限。当你正在构建知识库或者搭建文档审核相关的Agent，可以考虑将TextIn MCP Server嵌入到你的搭建工作流中，成为你的文档处理引擎。
刘聪NLP | 等了大半年的Qwen3-VL终于也开源了！附模型细节&实测！
csdn_xmj的博客
09-30 2046
本文来源公众号，仅用于学术分享，侵权删，干货满满。大家好，我是刘聪NLP。抓着云栖大会，猛开源是吧，两天时间，开源了Qwen3-Omni系列模型、Qwen-Image-Edit-2509模型、Qwen3-VL模型、Qwen3Guard-Gen系列模型，共计12个。还有一些没开源的API，比如Qwen-TTS、Qwen3-Coder-Plus、Qwen3-Max、Qwen3-LiveTranslate等等等PS：我恨俊旸呀！天天凌晨开源~
AI时代，科技园区面临收入增长乏力挑战，如何抓住AI+数智化解决方案机遇实现市场占有率？.docx
12-02
AI时代，科技园区面临收入增长乏力挑战，如何抓住AI+数智化解决方案机遇实现市场占有率？
基于Unity引擎开发的移动端点云可视化与智能路径规划系统_点云显示手势交互点云格式转换ply格式导入pcx插件应用点云地图构建栅格地图系统六边形地图设计可通行区域.zip
12-02
基于Unity引擎开发的移动端点云可视化与智能路径规划系统_点云显示手势交互点云格式转换ply格式导入pcx插件应用点云地图构建栅格地图系统六边形地图设计可通行区域.zip
科技服务合作伙伴如何借助AI赋能的科技管理服务突破平台“建而无用”，以打造可持续的品牌影响力？.docx
最新发布
12-02
科技服务合作伙伴如何借助AI赋能的科技管理服务突破平台“建而无用”，以打造可持续的品牌影响力？
Qwen2.5-VL：最强开源视觉大模型，本地部署完全免费
05-02
### Qwen2.5-VL 开源视觉大模型本地部署方法 Qwen2.5-VL 是阿里巴巴推出的一款强大的开源视觉语言模型，具备卓越的多模态理解和生成能力。为了便于开发者和研究人员使用，该模型支持本地部署，并提供免费资源供用户下载和运行。 #### 部署环境准备 在开始本地部署之前，需确保满足以下软硬件条件： - **操作系统**: 支持主流的操作系统，如 Linux 和 macOS[^3]。 - **硬件配置**: 建议配备 NVIDIA GPU 或其他高性能计算单元以加速推理过程[^4]。 - **依赖库安装**: 安装必要的 Python 库以及 CUDA 工具包来适配 GPU 加速功能[^2]。 #### 下载与安装流程 1. 访问官方 GitHub 页面或其他指定发布渠道获取最新版本的 Qwen2.5-VL 模型文件及其配套脚本。 ```bash git clone https://github.com/Qwen-Multimodal/Qwen.git cd Qwen ``` 2. 使用 pip 安装所需的 Python 包： ```bash pip install -r requirements.txt ``` 3. 将预训练权重文件放置到项目目录下的 `weights` 文件夹中，或者通过命令行参数指定路径: ```python model_path = "./weights/qwen_vl_7b_instruct" ``` #### 启动服务端口 完成上述步骤后，可以通过如下方式启动本地服务器实例以便调用 API 进行预测操作[^2]： ```python from qwen import QwenVLModel model = QwenVLModel(model_name="qwen-vl", device="cuda") # 设置为 'cpu' 如果没有GPU可用 app.run(host='0.0.0.0', port=8080, debug=True) ``` 此代码片段展示了如何加载模型并初始化 Web 应用程序监听特定 IP 地址及端口号上的请求[^1]。 #### 测试接口响应 最后，在浏览器地址栏输入 http://localhost:8080/predict 并附加适当格式化的 JSON 数据体即可验证整个系统的正常运作情况。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值