docker 环境部署vllm + deepseek -7B

最新推荐文章于 2025-10-23 15:46:00 发布

原创最新推荐文章于 2025-10-23 15:46:00 发布 · 置顶 · 2.6k 阅读

22 ·

CC 4.0 BY-SA版权

文章标签：

#docker #容器 #运维 #vllm #deepseek #部署

笔记专栏收录该内容

11 篇文章

订阅专栏

第一步先安装docker 这个教程已经很多了，我就不在多赘述了

第二步，下载模型我在以下网站下载的模型。里边有很多，想用什么下载什么

魔搭社区汇聚各领域最先进的机器学习模型，提供模型探索体验、推理、训练、部署和应用的一站式服务。https://modelscope.cn/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B/files

在windows 窗口

在安装了python3.8 +的环境下

1.如果只需要通过ModelScope SDK，或者ModelScope命令行工具来下载模型，可以只最轻量化的安装ModelScope的核心hub支持：

在窗口执行 pip install modelscope

2.如果需要更完整的使用ModelScope平台上的一系列框架能力，包括数据集的加载，外部模型的使用等，则推荐使用"framework"的安装选项，也就是
在窗口执行 pip install modelscope[framework]

（这个是在执行了第一个命令后没有办法下载模型，所以执行了第二个命令）

下载模型的命令

modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Qwen-14B --local_dir D:\models\deepseek-14b

把模型保存到D:\models\deepseek-7b 目录，可自定义最好不要默认要不然会找不到模型位置，启动vllm的时候需要读取模型

安装vllm

在docker环境下先安装 vllm

因为docker国外环境的限制，如果有条件可以翻墙直接下载无条件也可以用国内的镜像

# 国内测试机无法直接下载（试了很多国内加速器都不能正常下载），可以在海外机器下载镜像，然后上传到国内自有库，再从国内自有库下载镜像

# 国内自有库下载镜像

docker pull swr.cn-east-3.myhuaweicloud.com/kubesre/docker.io/vllm/vllm-openai:latest

Docker运行vllm

docker run -d --gpus all -p 8000:8000 -v D:\models\deepseek-7b:/app/model --name deepseek vllm/vllm-openai:latest --model /app/model --port 8000 --max-model-len 12048 --gpu-memory-utilization 0.95 --served-model-name deepseek-7B

以下是一些参数的解释，我这个是4090显卡24g显存，只能运行7B的模型。如果运行14B的就需要更好的显卡，或者主板支持显卡集火的。

（ 这里只是个笔记 可以忽略。这段是先启动容器，然后再容器中在读取模型。开始用的后来感觉不用这么麻烦。直接启动容器就好了，

7B
docker run -it --gpus all  --shm-size 15.24g -v D:\models\deepseek-7b:/app/model -p 8000:8000  --ipc=host  --name deepseek7 --entrypoint /bin/bash vllm/vllm-openai:latest

python3 -m vllm.entrypoints.openai.api_server --model /app/model/ --port 8000 --tensor-parallel-size 1 --served-model-name DeepSeek-7B --gpu_memory_utilization 0.95 --max-model-len 8192 --trust-remote-code --enforce_eager

14B
docker run -it --gpus all  --shm-size 15.24g -v D:\models\deepseek-14b:/app/model -p 8000:8000  --ipc=host  --name deepseek14 --entrypoint /bin/bash vllm/vllm-openai:latest

python3 -m vllm.entrypoints.openai.api_server --model /app/model/ --port 8000 --tensor-parallel-size 1 --served-model-name DeepSeek-14B --gpu_memory_utilization 0.98 --max-model-len 18192 --trust-remote-code --enforce_eager

）

D:\models\deepseek-7b 启动命令中这个是模型的下载位置。
--served-model-name deepseek-7B 这个参数请求的时候需要用的。务必加上。