（手动）在服务器上部署模型记录

记录一下服务器上部署大模型的步骤，随时更新。

前提知识

模型文件：模型文件通常是指经过训练的模型本身，包括网络架构、权重和其他必要的参数。

模型推理文件： 模型推理文件通常是指用于执行模型推理（即使用模型进行预测）所需的代码和配置，可能包括输入处理、输出格式化等。

（1）准备工作

确保你有一个服务器账号和相关权限，需要掌握一些Linux语言。

cd /  # 进入根目录

tree / # 查看当前目录结构

一般来说个人账号会在/home目录或/root下，在个人目录下是隔离的环境，安装anaconda或者miniconda不会与其他人的anaconda冲突。
 

（3）模型上传到服务器

将训练好的模型文件（例如model.pth，model.pkl）上传到服务器的指定目录，一般是在个人账号下的model文件夹，即/home/username/models。

分为两种情况，模型下载到了本地，从本地上传到服务器，和，模型托管在git仓库中，从GitHub或其他网址到服务器。

模型从本地到服务器

scp path/to/local/model.pth username@server_ip:/home/username/models

模型从GitHub到服务器

wget https://path_to_model_file/model.pth -P /home/username/models

 （2）创建虚拟环境（先安装anaconda）

确定模型文件需要的python版本

conda create -n my_model_env python=3.8  #创建名为my_model_env的虚拟环境，python版本为3.8
conda activate my_model_env  #激活环境

（4）安装依赖库

根据模型文件和模型推理文件所需的requirements.txt，在虚拟环境安装对应的库

conda install -r requirements.txt

（4）编写和上传模型推理代码

（5）在服务器上调试和运行推理代码

python /home/username/my_model_code/inference.py

（6）设置API服务（可选）

如果想让模型通过网络服务（REST API）进行推理，可以使用Flask、FastAPI等框架将模型包装成一个web服务。