Ubuntu配置Torchserve环境，并在线发布你的深度学习模型

一、申请Ubuntu云服务器

你可以从阿里云、百度云、腾讯云等多个云服务器厂商购买一个在线云服务器。我采用的是百度云的轻量级的云服务器，装的是Ubuntu20系统。

二、在Ubuntu上配置Torchserve环境

Torchserve是Facebooke公司开发的在线深度学习模型部署框架，它可以很方便的部署pytorch的深度学习模型，读者可以访问Github地址获取最新功能和详细说明：官方地址https://github.com/pytorch/serve/blob/master/docs/README.md

2.1、利用docker一键式安装

Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的 Linux或Windows操作系统的机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口，上述解释来源于百度百科。其实，简单的说，docker就是把Torchserve的所有运行环境都打包在一个容器里，你只要通过docker的接口就可以调用相应环境运行你的程序。所以，为了方便，直接用docker安装。
1.进入ubutu系统

2.更新ubutu的所有环境

sudo apt-get update

3.卸载旧版本的docker，如果没有安装过，可以省略

sudo apt remove docker docker-engine docker.io containerd runc

4.安装新版本docker
读者可以参考文章（06-Ubuntu 20 安装docker）

5.测试一下docker是否安装成功

docker --version

出现上述版本号，表示你已经安装docker成功了，恭喜你完成了第一步。

2.2、安装java运行环境

因为Torchserve是基于JAVA运行的，所以，我们需要在Ubutu上安装最新的JAVA开发环境。

1.执行命令

sudo apt-get -y install openjdk-11-jdk

2.检查是否安装成功

java --version

显示这个就表示安装成功了，当然你可能会遇见各种问题，JAVA的详细安装可以参考文章ubuntu20.04安装Java。专业的工作交给专业的人嘛。

2.3、安装torchserve环境

Torchserve提供了方便且快捷的docker安装方式，我们只要在Ubuntu中输入命令就行，开不开心，激不激动。命令代码如下所示：

• 拉取CPU的镜像（表示运行在CPU环境的框架）

docker pull pytorch/torchserve:latest

等运行好了，运行成功就可以通过docker中的pytorch/torchserve创建一个容器实例了，这个容器包含了torchserve运行的所有环境。

2.4、安装screen

Screen的安装不是必须的，可以根据自己的需要安装，当启动Torchser的时候Ubuntu当前的命令行变得不可用，因为它会不停的打印logs信息，所以我们用screen把当前命令窗口后台化，并重新打开一个命令行窗口。接下来用命令行安装screen：

sudo apt install screen

screen的命令有很多，作者可以参考这篇文章screen 命令详解。
这样，我们所有的准备工作都已经做完了，那么我们怎么部署深度学习模型呢？接着往下看！

三、在Ubuntu上部署你的深度学习模型

部署模型其实是非常简单的事情，只是几条命令的事情，最困难的事情是训练模型和打包模型。训练模型不言而喻，最主要的是打包模型。Torchserve提供了一个整体的框架，方便的部署，但是你必须严格按照他们的部署规则。这个时候，就需要你训练的模型打包成符合Torchserve规则的输入模型。为了方便，我们把打包模型和部署模型分开操作，也就是说Ubuntu服务器只负责部署模型。打包模型我们在线下完成后上传给Ubuntu系统。这样实现了线上和线下的分离，方便模型版本控制。

3.1、线下环境（Windows）

在我的笔记本电脑上进行训练模型和打包模型，我采用的是Windows系统，同时采用Anaconda作为虚拟环境。下述所有都是在cmd命令行中完成。

1.首先我们通过，Anaconda创建一个虚拟的开发环境，安装一下包：
python3.8
pip
pytorch

2.同时，安装JAVA的开发环境
并配置为windows的环境变量(电脑上可以随时调用JAVA开发环境)，读者可以参考文章windows安装jdk。
你可以在Windows的CMD命令行中，通过以下命令检查是否安装配置成功：

java --version

显示这样就是表示已经安装成功了

3.此外，你也可以把Anaconda配置为环境变量

这样你在CMD中就可以通过命令行使用conda命令进行操作python环境了，读者可以参考anaconda环境配置和常用命令.

通过命令查看conda是否安装和配置成功：

conda --version

图中显示安装成功。

4.通过conda环境创建一个torchserve的开发环境：

conda create -n "torchserve" python=3.8

5.进入torchserve环境：

conda activate torchserve

这时候就显示已经进入了我们创建的torchserve环境中了。

6.在该环境中利用pip安装torchserver的包：

pip install torchserve torch-model-archiver torch-workflow-archiver

显示出这些包都已经安装好，表示我们可以使用torchserve了。

此外，我们需要从github上下载torchserve的整个文件，这样可以采用里面的一些现成的例子，我们可以通过命令行，利用git来下载，同时读者也可以直接进官网下载。

7.安装git包，这样我们可以采用git命令来下载github上的文件：

conda install git

查看到我们已经安装成功。

8.下载torchserve的整个文件，执行以下命令：

git clone https://github.com/pytorch/serve.git

这时候一个serve文件会被下载到你的用户文件夹中，我的是存在C:\Users\Lcy中。

命令行中执行cd命令，进入到serve文件目录下：

cd serve

执行命令：

pip install .

安装完再执行：

cd model-archiver

继续执行安装命令：

pip install .

完成之后，接下来就开始打包我们的模型了，期待吧。

3.2、打包模型（以官方例子为准）

这里的话，我们就以官方提供的mnist模型例子作为打包模型的方法，具体可以参考官方文档。

1.命令行cd到serve文件夹中：

 cd serve

2.执行打包命令：

torch-model-archiver --model-name mnist --version 1.0 --model-file examples/image_classifier/mnist/mnist.py --serialized-file examples/image_classifier/mnist/mnist_cnn.pt --handler  examples/image_classifier/mnist/mnist_handler.py --extra-files examples/image_classifier/mnist/mnist.ts.json

其中：

• –model-name: 模型的名称，后来的接口名称和管理的模型名称都是这个（本例中是mnist）
• –model-file: 模型采用的类别，也就是模型是采用什么网络结构的（本例中是mnsit.py）
• –serialized-file: 模型环境及代码及参数的打包文件（模型权重文件pth或pt）（本例中是mnist_cnn.pt）
• –handler: 打包模型后模型的执行流程，主要包括预处理、预测和后处理的流程。（本例中采用mnist_handler.py）
• –extra-files：这个暂时不知道是干什么的（例子中用mnist.ts.json），这个是可有可无的，不是必要文件，知道读者可以可以留言

3.执行完这个语句后会在serve文件夹中生成一个新的文件，文件名为mnist.mar：

恭喜你，你的模型已经打包完成，处理的流程，权重被打包成mnist.mar中，你只要有这个文件，接下来，你就可以把他部署到Ubuntu的云服务器中。

读者就要问了，我想要打包自己的模型怎么办，不用担心，我另外写了一个打包自己模型的文章（读者可访问地址：Torchserve打包和部署你训练的深度学习模型）。

3.3、部署模型

接下来就是部署模型了，也就是本章最后的步骤了。

1.打开你的Ubuntu云服务器，进入root界面：

2.输入启动torchserve的命令：

#2.1.创建新窗口
screen -S torch

#2.2.在新窗口开启docker容器
docker run --rm -it -p 3000:8080 -p 3001:8081 pytorch/torchserve

其中–rm表示的是读写，-t让docker分配一个伪终端并绑定到容器的标准输入上, -i则让容器的标准输入保持打开，简单讲就是保持容器运行。-p是端口映射，torchserve默认8081端口负责后台管理模型，你可以理解为管理员端口；8080端口是开放端口，负责用户对模型的访问，理解为用户端口。那么-p的意思就是说，把8081端口改成3001,；8080的改成3000。pytorch/torchserve表示的就是torchserve环境，利用该环境生成一个容器。

#2.3.切换新窗口到后台
按快捷键：ctrl+a+d

*3.查看容器是否生成，执行指令：

docker ps

显示上图结果，表示你的容器正在已经成功开启。其中ID就是f78012109930，是唯一标识符；最后的NAMES就是festive_knuth，表示容器的名字，记住它，我们以后调用容器就用它。

4.把本地windows中的minist.mar文件传到ubuntu云服务器中：

首先现在ubuntu系统中，创建一个文件夹，用来存上传的mar格式模型：

mkdir model

查看一个是否创建成功：

ls

上图表示已经有model文件夹了。

接下来，我们利用scp命令把本地文件上传ubuntu云服务器中，在你的windows中，打开命令行，输入：

scp mnist.mar root@ip:/root/model

最后，在ubuntu系统上行查看是否上传成功，输入命令：

cd model

ls

可以看到我的model文件夹里有两个mar文件，分别是我刚上传的mnist.mar，另外一个是我之前上传的。

5.把model文件夹中的mar文件拷贝到容器特定文件夹中：

步骤3我们已经生成了一个容器，名字是festive_knuth，这时候需要我们把mdk文件放在容器的特定文件夹中，这也是torchserve规则化规定的，没有为什么，执行以下命令：

docker cp /root/model/mnist.mar festive_knuth:/home/model-server/model-store

命令很好理解，docker cp实现了主机和容器之间的数据拷贝。该条命令就是把root/model中的mnist.mar文件拷贝到festive_knuth容器中model-store文件夹中。

拷贝完成可以执行以下命令查看拷贝是否完成：

docker exec festive_knuth ls -a /home/model-server/model-store

上图显示我们成功把mnist.mar文件拷贝到容器中了，需要注意的是，一旦容器停止，文件夹中东西也会消失，因为容器本身就是一个虚拟环境。

6.注册模型

我们目前仅仅把mar文件放置到了它应该放的位置，但是并没有告诉容器你怎么去调用它，这时候，我们就需要注册模型来告诉容器，你可以通过这个链接访问我的mar文件，执行以下命令：

curl -X POST "http://localhost:3001/models?url=mnist.mar"

因为注册模型是管理员的任务，所以我们通过3001端口进入，这样不影响3000端口的正常使用；显示上图就表示模型注册成功了，上边提示我们需要非配一个工作线程去处理这个api；意思就是注册好了，分配几个线程去专门处理来自这个模型的访问。

7.分配线程

读者根据自己需要来分配不同数量的工作线程，执行的命令如下所示：

curl -v -X PUT "http://localhost:3001/models/mnist?min_worker=1&synchronous=true"

我们暂时分配了一个，上图是执行之后的结果，状态显示打工人正在为你的模型工作，哈哈哈。

8.测试一下

在你的windows的cmd命令行中输入命令：

curl http://IP地址:3000/predictions/mnist -T 0.png

其中IP地址表示你申请云服务器的公网IP，这里保护我的隐私，我就不挂出来了。-T后面的0.png是你本地的图片，是一个手写字0。这时候的返回结果如下所示：

上图显示识别结果为0，识别正确，搭建完成。图中我的ip用了马赛克，读者根据自己IP进行书写就好了。

9.模型注销

最后一步告诉你们一下，怎么注销吧，执行以下命令（在ubuntu云服务器上）：

curl -X DELETE http://localhost:3001/models/mnist/

显示已经取消注册了。

你们学会了么！快快把你们的模型部署起来吧！