36、移动和云平台上的模型部署

移动和云平台上的模型部署

1. 模型部署概述

在移动和云平台上部署机器学习模型，尤其是神经网络模型时，通常需要对项目中使用的机器学习框架进行定制构建。

1.1 移动平台

移动平台使用不同的 CPU，有时还配备专门的神经网络加速设备。因此，需要针对这些架构来编译应用程序和机器学习框架。

1.2 云平台

云平台的架构与开发环境不同，通常有两种使用场景：
- 加速训练 ：使用配备 GPU 的强大机器配置来加速机器学习训练过程，构建应用时需要考虑使用一个或多个 GPU。
- 仅用于推理 ：通常不需要 GPU，现代 CPU 就能满足性能要求。

2. 图像分类应用开发

2.1 Android 平台图像分类应用

开发了一个用于 Android 平台的图像分类应用，具体步骤如下：
1. 通过 JNI 连接 Java 模块和本地 C++ 库 ：使用 Java Native Interface（JNI）实现 Java 模块与本地 C++ 库的连接。
2. 使用 NDK 构建 PyTorch C++ 库 ：利用 Native Development Kit（NDK）为 Android 构建 PyTorch C++ 库，并了解了移动版本的使用限制。

2.2 Google Compute Engine 平台 HTTP 图像分类服务

实现并部署了用于 Googl