V100 上用 ms-swift 框架部署 DeepSeek-R1-Distill-Qwen-14B 超全攻略

环境准备

本文基础环境如下：

----------------
x86_64
ubuntu 22.04 or centos 7
gpu: V100(32GB) * 2
python 3.10
cuda 12.4
----------------

本文默认已配置好以上 cuda、anaconda​ 环境，如未配置请先自行安装。

• cuda

  • 显卡与驱动版本对应查询
    PCI devices (ucw.cz)
  • 安装驱动
    Official Drivers | NVIDIA
  • 安装 CUDA
    CUDA Toolkit Archive | NVIDIA Developer

• anaconda
  Ubuntu 与 CentOS 系统：Anaconda 在线及离线快速安装全教程-优快云博客

依赖安装

conda create -n DeepSeekR1-swift python=3.10 -y
conda activate DeepSeekR1-swift

首先 pip​ 换源加速下载并安装依赖包

python -m pip install --upgrade pip
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/


pip install modelscope==1.22.3
pip install openai==1.61.0
pip install tqdm==4.67.1
pip install "vllm>=0.5.1" -U
pip install "lmdeploy>=0.5,<0.6.5" -U --no-deps
pip install autoawq -U --no-deps
pip install auto_gptq optimum bitsandbytes -U
pip install ms-swift[all]
pip install timm -U
pip install deepspeed==0.14.* -U
pip install qwen_vl_utils decord librosa pyav icecream -U

检查安装是否成功

python -c "import torch; print(torch.cuda.is_available())"

输出True这说明gpu版本的pytorch安装成功

模型下载

使用 modelscope 中的 snapshot_download 函数下载模型，第一个参数为模型名称，参数 local_dir为模型的下载路径。

新建 model_download.py​ 文件并在其中输入以下内容，粘贴代码后记得保存文件。

from modelscope import snapshot_download

model_dir = snapshot_download('deepseek-ai/DeepSeek-R1-Distill-Qwen-14B', local_dir='deepseek-ai/DeepSeek-R1-Distill-Qwen-14B', revision='master')

然后在终端中输入 python model_download.py​ 执行下载，这里需要耐心等待一段时间直到模型下载完成。

注意：记得修改 local_dir​ 为你的模型下载路径

部署测试

• 运行部署命令

CUDA_VISIBLE_DEVICES=2,3 swift deploy \
	--model /home/mnivl/apps/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-14B \
	--max_model_len 8192 \
    --host 0.0.0.0 \
    --port 10040 \
	--infer_backend lmdeploy \
    --tp 2

• 基础参数

  • ​--host​: 默认为'0.0.0.0'​.
  • ​--port​: 默认为8000​.
  • ​--api_key​: 默认为None​, 即不对请求进行api_key验证.
  • ​--ssl_keyfile​: 默认为None​.
  • ​--ssl_certfile​: 默认为None​.
  • ​--verbose​: 是否对请求内容进行打印, 默认为True​.
  • ​--log_interval​: 对统计信息进行打印的间隔, 单位为秒. 默认为10​. 如果设置为0​, 表示不打印统计信息.