14、PyTorch 生产环境部署指南

PyTorch 生产环境部署指南

1. 引言

在学会使用 PyTorch 对图像、文本和声音进行分类后，下一步就是将 PyTorch 应用部署到生产环境中。本文将介绍如何创建通过 HTTP 和 gRPC 对 PyTorch 模型进行推理的应用程序，将这些应用程序打包到 Docker 容器中，并将其部署到 Google Cloud 上运行的 Kubernetes 集群中。同时，还会探讨 TorchScript 技术以及模型量化压缩方法。首先，我们来看看模型服务。

2. 模型服务

构建深度学习应用时，仅仅构建模型是不够的。一个模型即使准确率很高，但如果不能进行预测，那也没有实际价值。我们需要一种简单的方法来打包模型，使其能够响应请求并在生产环境中轻松运行。

Python 的 Flask 框架可以帮助我们快速搭建一个 Web 服务。下面我们将构建一个简单的服务，该服务加载基于 ResNet 的猫或鱼分类模型，接受包含图像 URL 的请求，并返回一个 JSON 响应，指示图像中是猫还是鱼。

如果向模型发送一张狗的图片，模型会将其判断为猫或鱼，因为它只能从已有的选项中进行选择。一些深度学习从业者会在训练时添加一个额外的类别 “Unknown”，并加入不属于所需类别的标记示例。另一种方法是查看最终 softmax 输出的概率，如果模型的预测结果接近 50/50 猫/鱼或者分布在各个类别中，那么可以建议为 “Unknown”。

3. 构建 Flask 服务

Flask 是一个流行的 Python Web 服务框架，我们将使用它来构建模型的 Web 服务。

首先，安装 Flask 库，可以