vllm+qwen2部署！

BC-AGIOne

已于 2024-07-16 10:09:46 修改

阅读量3.2k

点赞数 7

文章标签： linux 运维服务器

于 2024-07-11 02:18:02 首次发布

本文链接：https://blog.youkuaiyun.com/Q794469/article/details/140318945

版权

准备好qwen2模型：去huggingface镜像、魔搭都可下载：
HF-Mirror、魔搭社区

创建conda环境：
conda create -n name python==3.10 （python环境一定要3.10 后面有用！）

激活环境：
conda activate name

替换镜像源：
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

安装所需依赖：

pip install modelscope==1.11.0
pip install openai==1.17.1

pip/pip3 install torch torchvision torchaudio
pip install tqdm==4.64.1
pip install transformers==4.39.3

安装flash-attn依赖包的时候有坑！
需要先安装nijia这个包：
pip install ninja
检查ninja是否安装成功：

echo $?

返回0代表安装成功！

此时再次安装flash-attn：

MAX_JOBS=8 pip install flash-attn --no-build-isolation

还是报错，加上代理再次安装！

pip install https://github.com/Dao-AILab/flash-attention/releases/download/v2.5.2/flash_attn-2.5.2+cu122torch2.2cxx11abiFALSE-cp310-cp310-linux_x86_64.whl
如果超时可以设置参数 --timeout=250（具体多少根据实际情况定）

参考：安装flash-attention失败的终极解决方案_building wheels for collected packages: flash-attn-优快云博客

安装成功！

pip install vllm

启动openai风格接口：
python -m vllm.entrypoints.openai.api_server --model /dfs/data/autodl-tmp/qwen/Qwen2-7B-Instruct --served-model-name Qwen2-7B-Instruct --max-model-len=2048

--dtype=half （我当前显卡为esla V100-PCIE-32GB GPU具有计算能力7.0，不够8.0，所以需要设置半精度，使用float16（half precision）而非Bfloat16进行计算，这样可以降低算力要求）

若想启动多Gpu再设置以下两个参数：
CUDA_VISIBLE_DEVICES=0,1,2,3

并行计算参数：
--tensor-parallel-size=2（张量并行参数设置）
--pipeline-parallel-size=4（管道并行参数设置）

CUDA_VISIBLE_DEVICES=0,1,2,3 python -m vllm.entrypoints.openai.api_server --model /root/autodl-tmp/qwen/Qwen2-7B-Instruct --served-model-name Qwen2-7B-Instruct --max-model-len=2048

成功启动服务！