【大语言模型_1】VLLM部署Qwen模型

没枕头我咋睡觉

已于 2025-03-19 15:46:17 修改

阅读量1k

点赞数 3

分类专栏：大语言模型文章标签： python 语言模型

于 2024-09-20 15:55:58 首次发布

本文链接：https://blog.youkuaiyun.com/qq_41982304/article/details/142387627

版权

1、模型下载：

魔塔社区：魔搭社区

huggingface：https://huggingface.co/Qwen

2、安装python环境

1、python官网安装python 【推荐要3.8以上版本】

2、安装vllm模块

3、启动模型

CUDA_VISIBLE_DEVICES=0,1 /root/vendor/Python3.10.12/bin/python3.10 -m vllm.entrypoints.openai.api_server --host 0.0.0.0 --port 25010 --served-model-name mymodel --model //root/qwen2.5/qwen2.5-coder-7b-instruct/ --tensor-parallel-size 2 --max-model-len 8096

出现以下内容代表运行成功

INFO 09-20 15:22:59 model_runner.py:1335] Graph capturing finished in 11 secs.
(VllmWorkerProcess pid=101403) INFO 09-20 15:22:59 model_runner.py:1335] Graph capturing finished in 11 secs.
INFO 09-20 15:22:59 api_ser