昇腾，Ascend，NPU，mindie，镜像，部署vllm：第4篇，尝试多模态大模型部署（Qwen2-vl）

---

前言

一直想部署一个多模态大模型，今天就以Qwen2-vl为例尝试一番吧。
（当然是在昇腾环境下）

提示：需要把这篇文章先看一遍
昇腾，mindie，镜像，部署vllm：第2篇，启动mindieservice_daemon服务，支持对Qwen2.5的7B版本的推理

提示：本文章的撰写思路是，按照一个思路进行部署，报错，并反思，并解决。 所以不太适合直接上来就跟着一步一步做。建议看完全文，再根据自己的理解做。

下载模型

咱应该都装了modelscope吧，那么可以直接：

提示，下面这行指令会把文件直接下载到当前文件夹里，所以最好实现创建一个文件夹

mkdir qwen2-vl

modelscope download --model Qwen/Qwen2-VL-7B-Instruct --local_dir</