阿里多模态大模型Qwen2.5-VL-32B ，本地部署实践

最近春招和实习已开启了。

不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。

最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。

• 《大模型面试宝典》(2025版) 正式发布！

喜欢本文记得收藏、关注、点赞。

---

---

大家好，通义千问又发布新模型了，依然很棒。

单说私有化部署，成本比 DeepSeek 低很多倍。私有化部署 DeepSeek- V3 或 R1，纯硬件成本保底 150 万（英伟达 H20 141GB 版），如果是国产算力，保底 200 万了。但是 QwQ:32B，只需要 4 张 4090 就行了（成本 10 几个 w），表现非常优异，很多场景可以替代 DeepSeek。

Qwen2.5-VL-32B 简介

Qwen2.5-VL-32B 介绍，我就不帮忙吹嘘了，阿里没有给我广告费

关键增强功能：

• 通过视觉理解：Qwen2.5-VL 不仅擅长识别常见的花朵、鸟类、鱼类和昆虫，而且能够高效地分析图像中的文本、图表、图标、图形和布局。

• 具有自主性：Qwen2.5-VL 直接扮演视觉代理的角色，能够进行推理并动态指导工具使用，具备计算机使用和手机使用的能力。

• 理解长视频并捕捉事件：Qwen2.5-VL 能够理解时长超过 1 小时的视频，并且这次它新增了捕捉事件的能力，能够定位相关的视频片段。

• Qwen2.5-VL 能够在不同格式下进行视觉定位：Qwen2.5-VL 可以通过生成边界框或点来准确地在图像中定位物体，并可以提供稳定的 JSON 输出以供坐标和属性使用。

• 生成结构化输出：对于发票扫描件、表格等数据，Qwen2.5-VL 支持其内容的结构化输出，有助于金融、商业等领使用。

大家可以在 https://chat.qwen.ai/体验，在 Qwen Chat 上直接选中 Qwen2.5-VL-32B 即可。

本文我们主要介绍 Qwen2.5-VL-32B 本地化部署

下载模型

从 modelscope 下载，毕竟 huggingface 网不通。 模型文件：https://modelscope.cn/models/Qwen/Qwen2.5-VL-32B-Instruct/files

安装 modelscope：pip install modelscope

下载完整模型库：modelscope download --model Qwen/Qwen2.5-VL-32B-Instruct --local_dir /home/data-local/qwen25VL

将模型下载到指定的本地目录 /home/data-local/qwen25VL 中。

一共 65 个 G

vLLM

安装 vllm：pip install vllm

运行大模型：

vllm serve /ModelPath/Qwen2.5-VL-32B-Instruct --port 8000  --host 0.0.0.0 --dtype bfloat16 --tensor-parallel-size 4 --limit-mm-per-prompt image=5,video=5 --max-model-len 16384

我只有 4 张 4090，--tensor-parallel-size 指定 4

如果安装官方建议的运行脚本，不断报 OOM，不断调低--max-model-len 这个参数才跑起来。

使用

直接上 openweb-ui

安装：pip install open-webui

运行：open-webui serve

浏览器打开 http://locahost:8080

如果是服务器部署，把 localhost 改为服务器 ip

正常注册登陆

右上角点击头像，点击管理员面板

点击设置 - 外部链接，照着抄一下，api key 随便填写

然后回到前端，左上角添加模型那里就可以找到 Qwen2.5-VL-32B-Instruct 了

上传图片，随便问个问题，回答很精准

速度也还行,卡不够的同学，可以等等量化版或 7B 版本。