qwen-vl本地部署记录

保姆级!Qwen2.5 VL 本地部署实践!含可视化页面! 版本(我的版本)下载链接。 阅读详情
AI摘要

本文详细描述了如何在Ubuntu22.04系统上,使用RTX4090显卡部署Qwen-VL-Chat-Int4模型,包括代码下载、环境配置、依赖库安装,以及遇到的tokenizer构建问题的解决过程。

写在前面:本次部署版本为Qwen-VL-Chat-Int4(卑微),电脑配置:ubuntu22.04;显卡:RTX4090 24G,以下为搬运工记录

三个参考链接:

  1. qwen-vl代码仓库链接:https://github.com/QwenLM/Qwen-VL
  2. Qwen-VL-Chat-Int4模型权重链接:Qwen/Qwen-VL-Chat-Int4 at main
  3. 使用参考文档链接:魔搭社区

部署:只需4步

(前提:已经安装了anaconda)

1、下载代码:

git clone https://github.com/QwenLM/Qwen-VL.git

2、配置环境:python建议使用3.10,本人尝试过3.12会导致failed to build totenizers从而环境安装失败。

conda create -name qwenvl python=3.10
cd Qwen-VL
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
###建议添加清华镜像提高包的安装时间

3、配置Qwen-VL-Chat-Int4额外依赖库:

pip install optimum -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install auto-gptq -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install modelscope -U -i https://pypi.tuna.tsinghua.edu.cn/simple

4、测试Demo:代码test.py内容如下:执行python test.py即可

from modelscope import (
    snapshot_download, AutoModelForCausalLM, AutoTokenizer, GenerationConfig
)
from auto_gptq import AutoGPTQForCausalLM

import torch
torch.manual_seed(1234)

##Qwen-VL-Chat-Int4模型权重文件夹路径,可通过第三个链接下载
model_dir = "./Qwen-VL-Chat-Int4"

# Note: The default behavior now has injection attack prevention off.
tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)

# use cuda device
model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="cuda", trust_remote_code=True,use_safetensors=True).eval()

# 1st dialogue turn
query = tokenizer.from_list_format([
    {'image': 'https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg'},
    {'text': '这是什么'},
])
response, history = model.chat(tokenizer, query=query, history=None)
print(response)
# 图中是一名年轻女子在沙滩上和她的狗玩耍,狗的品种可能是拉布拉多。她们坐在沙滩上,狗的前腿抬起来,似乎在和人类击掌。两人之间充满了信任和爱。

# 2nd dialogue turn
response, history = model.chat(tokenizer, '输出"击掌"动作的检测框', history=history)
print(response)

image = tokenizer.draw_bbox_on_latest_picture(response, history)
if image:
  image.save('1.jpg')
else:
  print("no box")

结果显示:

分割线:


以下内容可忽略,对部署没有贡献但是确实遇到的问题记录



遇到报错:ERROR: Could not build wheels for tokenizers, which is required to install pyproject.toml-based projects

 解决方法:安装rust:

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

直接安装太慢,需要配置安装源

curl --proto '=https' --tlsv1.2 https://sh.rustup.rs -sSf > rust.sh && chmod +x rust.sh
##设置环境变量
##export RUSTUP_DIST_SERVER=https://mirrors.ustc.edu.cn/rust-static
export RUSTUP_DIST_SERVER=https://mirrors.tuna.tsinghua.edu.cn/rustup
export RUSTUP_UPDATE_ROOT=https://mirrors.ustc.edu.cn/rust-static/rustup
./rust.sh
##安装成功

安装成功后依旧解决不了问题,最后将python3.12降低到python3.10后得以解决

Qwen-VL本地化部署及微调实践 我这里因为资源有限,选择的QLora形式。修改finetune/finetune_qlora_single_gpu.sh中的一些设置,其中主要修改标红部分,其他参数自己设当调整。,其中 (x1, y1) 和(x2, y2)分别对应左上角和右下角的坐标,并且被归一化到[0, 1000)的范围内. 检测框对应的文本描述也可以通过。,其中id表示对话中的第几张图片。"img_path"可以是本地的图片或网络地址。GCC版本较低导致的编译问题。对于带图像输入的内容可表示为。对话中的检测框可以表示为。 阅读详情

相关推荐

Qwen的github主页 - 介绍

🤗 Hugging Face | 🤖 ModelScope | 📑 Paper | 🖥️ Demo WeChat (微信) | Discord | API We opensource our Qwen series, now including Qwen, the base language models, namely Qwen-1.8B, Qwen-7B, Qwen-14B, and Qwen-72B, as well as Qwen-Chat, t

具身机器人和通用AI 2383

Qwen-VL本地部署指南

通义多模态 Qwen-VL本地部署指南

Qinghub‘博客 6512

汽车以太网- IEEE 802.3标准

关于汽车以太网,大家看到最多的标准大概就是IEEE802.3bw,也就是我们车内使用的百兆以太网,专业称呼是100BASE-T1,该标准是车内百兆以太网的物理层协议,是我们学习汽车以太网必须要了解的协议。在正式了解协议之前,我们先介绍下什么是IEEE802.3标准。............

weixin_39974126的博客 7119

阿里的通义千问也能本地部署了?首发Qwen-VL-Chat模型的本地部署教程(A卡)

Qwen-VL 是一款支持中英文等多种语言的视觉语言(Vision Language,VL)模型,相较于此前的 VL 模型,其除了具备基本的图文识别、描述、问答及对话能力之外,还新增了视觉定位、图像中文字理解等能力。Qwen-VL 以 Qwen-7B 为基座语言模型,在模型架构上引入视觉编码器,使得模型支持视觉信号输入,该模型支持的图像输入分辨率为 448,此前开源的 LVLM 模型通常仅支持 224 分辨率。

梦马韶华 1万+

车载测试面试题总结

首先确认是什么问题,如果是测试软件的问题就先确定自己的测试方法有没有问题,如果没有问题,那就是测试软件的问题,这时候就需要提bug 进行跟踪,(比如BCM测试的时候,先明确测试的输入,对输入)进行需求分析,然后设计测试用例,进行用例评审,评审完执行测试用例形成最终的版本,台架分为:hil(黑尔)台架,单个控制器的台架、整车台架、车身台架、动力系统台架等,主要验证其功能,或者实车无法满足的测试环境。这个人不可能一直,点击几千次或者多少次几个小时连续点击,人不可能一直在点。因为要模拟一下这个稳定性,

woaxiaoqing的博客 7822

浙大数值分析lab2

最可怕的一道题,题目是这样的 Root of a Polynomial A polynomial of degree nnn has the common form as p(x)=cnxn+cn−1xn−1+⋯+c1x+c0p(x)=c_n x^n + c_{n-1} x^{n-1} + \cdots + c_1 x + c_0p(x)=c​n​​x​n​​+c​n−1​​x​

yao_zou的博客 4797

Qwen2.5-VL从零开始:本地部署+功能体验全记录

本文介绍了如何在星图GPU平台上一键自动化部署Qwen2.5-VL-7B-Instruct镜像,实现高效的多模态视觉交互。该镜像支持图文混合问答、OCR文字提取、图像内容描述等核心功能,可广泛应用于文档数字化处理、智能内容审核等实际场景,提升工作效率。

weixin_30481539的博客 157

ifix5.8连接ab plc的点-通过rslinx

以ifix连接ab plc的点为例 1.先在rslinx上把plc的点导出为opc server 2.使用opc power tool 作为opc client 去连接 3.保存到项目的PDB文件夹下面,并且以节点名命名。 也可以不以节点名命名,系统自动会生成一个以节点名命名的这种文件,就显得很乱。 同时,项目的PDB目录下面必须还得拷过来一个de...

中国智造2025 4115

快速部署指南:Qwen2.5-VL-7B本地运行,支持历史对话记录

本文介绍了如何在星图GPU平台自动化部署Qwen2.5-VL-7B-Instruct镜像,实现多模态视觉AI应用。该镜像支持图文混合交互,能够自动提取图片中的文字内容,适用于办公文档数字化、表格数据提取等场景,提升工作效率。

weixin_33256096的博客 371

3GPP Release与UE Category:无线通信标准演进与终端能力分级全解析

在蜂窝移动通信领域,技术标准的演进与终端设备的能力分级是理解整个产业发展的核心框架。其基本原理由国际标准组织3GPP通过周期性发布的技术规范版本(Release)来定义,每个Release都像一份阶段性的技术蓝图,规定了网络与终端应支持的新功能与性能基线。这种标准化机制的技术价值在于确保了全球设备的互联互通与网络的平滑升级,为从4G LTE到5G NR乃至未来的演进提供了清晰路径。在这一框架下,终端能力分级(如LTE时代的UE Category)是将标准转化为具体设备性能的关键环节,它直接定义了终端在射频和

weixin_34098209的博客 333

高斯泼溅(Gaussian Splatting):3D建模的颠覆性革命

高斯泼溅(Gaussian Splatting):3D建模的颠覆性革命

yingtu666的博客 5159

Qwen2.5-VL-7B-Instruct部署案例:科研团队构建本地AI实验记录图像分析系统

本文介绍了如何在星图GPU平台上自动化部署Qwen2.5-VL-7B-Instruct镜像,快速构建本地AI图像分析系统。该方案特别适合科研团队,能利用该多模态模型自动分析实验图像,例如对显微镜下的细胞图像进行智能描述与特征提取,从而提升实验记录与数据处理的效率与客观性。

weixin_31860973的博客 363

MIMIC数据库简介

一 、MIMIC简介 MIMIC(Medical Information Mart for Intensive Care),是一个大型的公开数据库。该数据库记录了2001年至2019年期间贝斯以色列女狄肯斯医疗中心重症监护病房患者的相关数据,拥有4万多名患者的医疗健康数据和记录。 MIMIC数据库记录了人口统计学信息,如病人的性别、身高、宗教等情况。记录了实验室检验信息,如血常规,肝功能,肾功能等实验室检测数据。记录了患者的用药信息,如高血压患者服用了治疗高血压类药物等。记录了护理人员以及患者的护理级别等。

越努力 越幸运 1万+

Qwen2.5-VL部署详细记录

Qwen2.5-VL 是一个强大的视觉语言模型,但其部署涉及较多底层依赖及环境配置问题,尤其在国内服务器上网络连接尤为关键。通过本文流程,即便是初次部署也能顺利跑通官方 Demo,并在 Web 页面上与模型交互。如果遇到其它问题,欢迎留言讨论。

yyy99997的博客 6038

海康威视嵌入式最全面试题及参考答案(3万字长文)

主营业务:提供包括前端摄像头、后端存储设备、显示控制设备等在内的全方位视频监控解决方案。市场地位:在全球范围内享有较高的市场份额,在安防领域具有较强的竞争力。技术创新:持续投入研发,拥有多项核心技术和专利,特别是在视频处理算法、人工智能等方面取得了显著成果。社会责任:积极参与公共安全项目,为智慧城市、交通管理等领域提供技术支持和服务。国际业务:除了国内市场外,海康威视的产品和服务也销往全球多个国家和地区。面向对象编程。

大模型大数据攻城狮的专栏 1765

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

Qwen3VL高精度2D/3D缺陷检测本地部署

Qwen3VL本地部署实现2D/3D缺陷检测 本项目基于Qwen3VL大模型实现了高效准确的2D和3D缺陷检测系统。系统采用模块化设计,包含API客户端、图像处理工具和可视化模块,支持从普通图片理解到专业目标检测的多模式分析。 核心功能: 双平台API支持:可对接魔搭社区和阿里云平台的AI服务 智能图像处理:自动编码/解码图像,支持高低分辨率切换 多维度检测:同时实现2D图像缺陷识别和3D空间分析 可视化展示:清晰标注检测结果并生成详细报告 技术亮点: 灵活的API客户端,支持多种模型配置 智能图像参

weixin_45070882的博客 1458

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

一键清空+历史记录:Qwen2.5-VL-7B聊天界面使用技巧

本文介绍了如何在星图GPU平台上一键自动化部署Qwen2.5-VL-7B-Instruct镜像,实现高效的多模态视觉交互。该镜像支持图片内容分析、文字提取和物体检测等应用,用户可快速上传图片并获取智能回复,提升视觉任务处理效率。

weixin_32480007的博客 438

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

Ollama 本地部署 Qwen2.5-VL-32B 图像分析场景优化实战:从7分钟到1分钟的参数调优之路

摘要: 本文详细记录了在RTX 2080 Ti上本地部署Qwen2.5-VL-32B模型进行图像分析优化的全过程。通过五轮针对性调整配置参数,包括将上下文窗口从12K降至3K、输出长度限制到1K tokens等优化措施,响应时间从初始的7分41秒降至1分18秒,性能提升83%。文章深入分析了图像分析场景的特点,包括单轮对话为主、结构化输出需求等,提供了不同场景的推荐配置方案,并对比了本地部署与官方API的成本优势(节省69%-88%)。最后给出了针对不同硬件配置和业务场景的优化建议,为开发者提供了实用的本地

m0_55316234的博客 2384

qwen2.5vl 模型配置记录

【代码】qwen2.5vl 记录。

jiayi_1999的博客 396

Python安装依赖包踩坑记录:成功运行Qwen3-VL-30B经验分享

本文详细记录了本地部署通义千问Qwen3-VL-30B大模型时的依赖配置经验,涵盖PyTorch版本匹配、CUDA环境配置、国内镜像加速、常见报错解决方案及生产部署建议,帮助开发者高效避坑,顺利运行多模态模型。

weixin_30798867的博客 837

项目实践9—全球证件智能识别系统(通义千问Qwen3-VL-8B-Thinking图文多模态大模型本地部署)

本文介绍了在本地部署阿里巴巴Qwen团队研发的多模态大模型Qwen3-VL-8B-Thinking的完整流程。该模型具备强大的视觉语言理解能力,支持图像、视频、OCR等多模态处理。文章详细阐述了本地化部署的优势(数据安全、成本可控、低延迟响应)、GPU资源规划方法,并重点推荐使用vLLM框架进行部署,因其具备高吞吐量、高效内存管理等特性。安装指南部分提供了NVIDIA驱动、CUDA Toolkit 12.8和cuDNN的详细安装步骤,确保环境配置正确。通过4张TITAN RTX GPU(96GB显存)的硬件

你是怎么做到的?我为什么做不到 3623

Qwen3-VL针灸治疗记录:穴位贴图自动生成电子病历

通过Qwen3-VL多模态大模型,中医针灸治疗可基于带标签的穴位照片自动生成结构化电子病历。系统融合图像识别、语义理解与临床推理,支持快速部署与隐私保护,显著提升诊疗效率并推动中医数字化转型。

weixin_35752233的博客 662

Qwen3-VL-8B在古籍修复图像记录中的元数据生成能力

本文介绍轻量级多模态大模型Qwen3-VL-8B在古籍修复图像元数据生成中的应用,展示其如何通过视觉理解与自然语言生成技术,实现高效、标准化的文物数字化记录,支持本地部署与结构化输出,显著提升档案录入效率与准确性。

weixin_26907223的博客 861

Qwen3-VL-2B-Instruct部署踩坑记录:常见错误解决指南

本文介绍了基于星图GPU平台自动化部署Qwen3-VL-2B-Instruct镜像的实践方法,涵盖环境配置、常见问题及解决方案。该镜像支持多模态理解与生成,适用于图像OCR增强识别、视频内容分析及GUI自动化等典型AI应用开发场景,助力开发者高效构建视觉语言模型应用。

weixin_42601134的博客 219

从部署到应用:Qwen3-VL:30B多模态大模型实战全记录

本文介绍了如何在星图GPU平台自动化部署“星图平台快速搭建 Clawdbot:私有化本地 Qwen3-VL:30B 并接入飞书(上篇)”镜像,快速构建私有化多模态AI助手。该方案能帮助企业轻松集成强大的Qwen3-VL:30B模型,实现图文对话、文档解析等智能办公场景,显著提升效率并保障数据安全。

weixin_30661119的博客 98

Qwen3-VL-8B在健身房会员锻炼记录自动归档中的应用

本文介绍如何利用轻量级多模态大模型Qwen3-VL-8B,结合边缘计算与本地部署,实现健身房会员锻炼行为的自动识别与结构化归档。系统通过摄像头抓拍、AI动作理解、自然语言生成和数据同步,提升训练记录效率与用户体验,同时保障隐私合规。

weixin_30632267的博客 890
上一篇: ubuntu显卡驱动重启后失效的解决办法
下一篇: linux使用sed批量替换多个文件指定内容
trainingVIP
博客等级 码龄7年 51粉丝 6原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值