从零开始本地部署Qwen-vl-chat-7B

原创已于 2024-12-27 11:22:04 修改 · 533 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#c++

于 2024-12-27 10:24:34 首次发布

PyTorch 2.7

PyTorch

Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

硬件设备

CPU：i5-12400F
MEM：16GB 3200Hz
SSD：1TB
GPU：RTX 4060Ti 8GB

基本流程

安装ubuntu22.04
安装cuda 12.3
拉取Tensorrt-LLM代码，编译docker
在docker内部编译Tensorrt-LLM，参考文档
下载模型和权重
从checkpoint模型转换到tensorrt engine
使用example/run.py加载模型并推理

进阶可选：

在windows系统上，直接构建docker image，将cuda安装环节也包含在docker build中
将qwen模型的推理封装成动态链接库，通过link的方式来调用推理

您可能感兴趣的与本文相关的镜像

PyTorch 2.7

PyTorch

Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

UCAS_HMM

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

阿里通义千问LLM Qwen-7B-Chat与Qwen-VL-Chat 使用；国内huggingface模型下载

weixin_42357472的博客

09-04

4479

参考： https://github.com/QwenLM/Qwen-7B https://github.com/QwenLM/Qwen-VL下载模型： https://huggingface.co/Qwen 下载好代码与模型后运行：下载好代码与模型后运行：运行QwenQwen-VL-Chat-Int4 大概需要15G显卡：（运行报错基本可以对应升级包的库即可 accelerate、peft等）

开源模型应用落地-qwen-7b-chat与vllm实现推理加速的正确姿势（二）

以微薄之力，予他人些许温暖.

01-10

3340

gunicorn+flask构建AI服务

参与评论您还未登录，请先登录后发表或查看评论

通义千问Qwen-VL-Chat大模型本地部署（一）

liukangjie520的博客

07-08

7794

qwen-vl-chat本地运行和api接口调用

Qwen-VL本地部署指南

Qinghub‘博客

05-16

6090

通义多模态 Qwen-VL本地部署指南

基于Qwen3-VL-8B-Instruct模型开发智能阅读功能：从本地部署到实战应用

最新发布

Liudef06的博客

11-10

2730

摘要：基于Qwen3-VL-8B-Instruct的智能阅读系统开发本文介绍了如何利用Qwen3-VL-8B-Instruct多模态大模型构建智能阅读系统。该系统能处理PDF、Word等格式文档及图像内容，实现语义理解、深度问答和知识推理。文章详细说明了环境配置（需16GB显存GPU）、模型部署方案（本地/VLLM或云端API），以及多模态数据处理方法，包括文档解析和视觉信息处理。系统通过混合推理架构支持128K tokens长文本处理，为高效知识提取提供了技术方案，适用于教育、研究等多种场景。

Qwen-VL本地化部署及微调实践

weixin_44455388的博客

02-23

5607

我这里因为资源有限，选择的QLora形式。修改finetune/finetune_qlora_single_gpu.sh中的一些设置，其中主要修改标红部分，其他参数自己设当调整。，其中 (x1, y1) 和(x2, y2)分别对应左上角和右下角的坐标，并且被归一化到[0, 1000)的范围内. 检测框对应的文本描述也可以通过。，其中id表示对话中的第几张图片。"img_path"可以是本地的图片或网络地址。GCC版本较低导致的编译问题。对于带图像输入的内容可表示为。对话中的检测框可以表示为。

大模型部署手记（20）Windows+Qwen-VL-Chat-Int4

张小白

10-31

3257

Windows+Qwen-VL-Chat-Int4

从零开始之三，在AutoDL上微调Qwen2.5-VL-7B

weixin_43490757的博客

04-22

2646

从零开始之三，在AutoDL上微调Qwen2.5-VL-7B

Qwen-VL: 一种多功能的视觉-语言模型，用于理解、定位、文本阅读等

机器学习，深度学习

08-12

1917

在这项工作中，介绍了 Qwen-VL 系列，一系列大规模的视觉-语言模型（LVLMs），旨在感知和理解文本与图像。

Qwen-VL：多功能视觉语言模型，能理解、能定位、能阅读等

pku_langzi的博客

09-21

3887

阿里的多模态大模型，以千问为基础，加入视觉理解，定位，对话，OCR等能力，并支持中英双语，在众多多模态评测基准上超过InstructBLIP等对比方法。

qwen2.5-vl多机多卡分布式部署

weixin_42479327的博客

03-15

5347

记录一下工作中进行多机多卡部署qwen2.5-vl多模态大模型踩过的坑第一个天坑就是官方提供的镜像qwenllm/qwenvl:2.5-cu121有问题，在titan显卡会抛出cuda error:no kernel image is availabe for execution on the device. 这是cuda内核与GPU不兼容的问题，可是手动制作的其他cuda12镜像就能跑。

在阿里云上部署Qwen-7B和Qwen-VL

2401_83692861的博客

04-17

1674

5.安装torch torchvision torchaudio。7. 如果您的设备支持fp16或bf16，我们建议安装。）以获得更高的效率和更低的内存占用。3.进入Qwen-7B文件，下载模型。3.进入Qwen-VL文件，下载模型。6.安装A卡版本auto-gptq。1.创建conda虚拟环境。1.创建conda虚拟环境。

Qwen-VL本地部署

m0_55985272的博客

10-15

2415

如果您在直接使用我们从Huggingface提供的模型，请确保您在调用model.chat()时，使用的是"Qwen/Qwen-7B-Chat"模型（而非"Qwen/Qwen-7B"预训练模型）。2.下载Qwen-VL-Chat权重，上传至Qwen-VL/下，或者git，文件夹命名Qwen-VL-Chat。8.闲的蛋疼，下载了Qwen-VL的权重跑chat脚本（应该下载Qwen-VL-Chat），发现会弹出警告。6.在Qwen-VL/路径下新建脚本文件qwenvl_chat_inference.py。

阿里的通义千问也能本地部署了？首发Qwen-VL-Chat模型的本地部署教程（A卡）

热门推荐

梦马韶华

09-18

1万+

Qwen-VL 是一款支持中英文等多种语言的视觉语言（Vision Language，VL）模型，相较于此前的 VL 模型，其除了具备基本的图文识别、描述、问答及对话能力之外，还新增了视觉定位、图像中文字理解等能力。Qwen-VL 以 Qwen-7B 为基座语言模型，在模型架构上引入视觉编码器，使得模型支持视觉信号输入，该模型支持的图像输入分辨率为 448，此前开源的 LVLM 模型通常仅支持 224 分辨率。

qwen-vl本地部署记录

trainingVIP的博客

04-15

3810

本次部署版本为Qwen-VL-Chat-Int4(卑微)，电脑配置：ubuntu22.04；显卡：RTX4090 24G，以下为搬运工记录。

最强开源视觉大模型Qwen2.5-VL：本地部署完全免费

bagell的博客

02-24

3970

Qwen2.5-VL 是 Qwen 推出的全新旗舰视觉语言模型。较前身 Qwen2-VL 有重大飞跃，树立了多模态 AI 新标准。

保姆级！Qwen2.5 VL 本地部署实践！含可视化页面！

不会吉他的肌肉男不是好的挨踢男的专栏

02-26

4457

版本（我的版本）下载链接。

联想Y7000+4060显卡+16G内存+ubuntu22.04微调Qwen2.5-VL-2B

hzm8341的博客

12-31

1153

4060显卡LoRA微调Qwen2.5-VL-2B

Qwen2.5-VL-7B 本地部署方案

专注最新最热的AI知识学习，以实战方式总结心得。

04-22

6851

pip install qwen-vl-utils[decord] # 视频处理支持。pip install qwen-vl-utils[decord] # 视频处理支持。· 使用 --dtype float16 或量化版本（如GPTQ-Int4）· 使用 --dtype float16 或量化版本（如GPTQ-Int4）· --limit-mm-per-prompt：限制每请求的多媒体输入数量。· --limit-mm-per-prompt：限制每请求的多媒体输入数量。

本地部署Qwen-VL

02-26

### 部署 Qwen-VL 模型的本地环境设置为了成功在本地环境中部署 Qwen-VL 模型，需满足特定硬件和软件需求。 #### 硬件要求对于顺利运行模型，推荐配备至少拥有 16GB 显存的 GPU 设备（例如 NVIDIA RTX 系列），这有助于加速图像处理与多模态任务中的计算效率[^1]。 #### 软件准备 Python 环境方面，创建独立虚拟环境被强烈建议，可通过 `virtualenv` 或者 Anaconda 的 `conda` 工具实现。这样可以有效管理不同项目间的包版本冲突问题。 #### 安装必要依赖通过执行如下命令来安装必要的 Python 库文件： ```bash pip install transformers accelerate langchain ``` 这些库提供了访问 Hugging Face 上预训练模型的能力以及优化分布式推理过程的功能支持。针对 Qwen-VL 特定部分，则可能还需要额外组件或自定义脚本的支持，具体取决于所使用的框架版本及其文档说明。通常情况下，官方 GitHub 仓库或是相关论文会给出更详细的指引。 #### 加载并使用 Qwen-VL 模型完成上述准备工作之后，可以通过以下方式加载 Qwen-VL 模型实例： ```python from transformers import AutoModelForVision2Seq, AutoProcessor model_name_or_path = "Qwen/Qwen-VL" processor = AutoProcessor.from_pretrained(model_name_or_path) model = AutoModelForVision2Seq.from_pretrained(model_name_or_path) # 假设有一个输入图片路径 image_path 和一个问题 question_text inputs = processor(image=image_path, text=question_text, return_tensors="pt") outputs = model.generate(**inputs) prediction = processor.decode(outputs[0], skip_special_tokens=True) print(prediction) ``` 这段代码展示了如何利用 Hugging Face Transformers 库加载 Qwen-VL 多模态大模型，并对其进行简单的问答交互操作。