使用vLLM在3090上部署DeepSeek-R1-Distill-Qwen-7B R1 推理服务

1. 在机器上拉取Docker 镜像

docker pull nvcr.io/nvidia/pytorch:24.02-py3 

2. 启动docker 镜像

docker run --network host --privileged --ipc=host -e TZ=Asia/Shanghai -v /home/ppl/:/home/ppl -v /data:/data --gpus all --name ppl_r1_vllm -it nvcr.io/nvidia/pytorch:24.02-py3 bash

3. 进入容器

最好安装虚拟环境，免得依赖处理麻烦

apt install python3.10-venv

cd /home/ppl

4. 创建python 干净的虚拟环境

python -m venv myvenv .
 

5. 安装vLLM

pip install vllm -i  http://xxx/artifactory/api/pypi/pypi-remote/simple --trusted-host xxx

这里可用清华的源，也可以用北京外国语大学的pip源，我用的内部的。

6.单卡跑7B

python3 -m vllm.entrypoints.openai.api_server --model=/home/ppl/aicoder/share_models/DeepSeek-R1-Distill-Qwen-7B --dtype bfloat16 --trust-remote-code --device cuda --max-model-len=4096 --tensor-parallel-size=1 --gpu-memory-utilization=0.80 --enable-reasoning --reasoning-parser deepseek_r1
 

 出现：RuntimeError: CUDA er