Qwen2.5-7B-Instruct FastApi 部署调用教程

1 环境准备

基础环境最低要求说明：

环境名称	版本信息1
Ubuntu	22.04.4 LTS
Cuda	V12.1.105
Python	3.12.4
NVIDIA Corporation	RTX 3090

首先 pip 换源加速下载并安装依赖包

# 升级pip
python -m pip install --upgrade pip
# 更换 pypi 源加速库的安装
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

pip install requests==2.31.0
pip install fastapi==0.115.1
pip install uvicorn==0.30.6
pip install transformers==4.44.2
pip install huggingface-hub==0.25.0
pip install accelerate==0.34.2
pip install modelscope==1.18.0

2 模型下载

使用 modelscope 中的 snapshot_download 函数下载模型，第一个参数为模型名称，参数 c