35、移动和云平台上的模型部署

移动和云平台上的模型部署

1. 服务器端实现

服务器是应用的核心。假设我们已经实现了图像分类功能，使用保存为TorchScript快照的模型，并将其加载到 torch::jit::script::Module 对象中。以下是封装该功能的类：

class Network {
  public:
    Network(const std::string& snapshot_path,
            const std::string& synset_path,
            torch::DeviceType device_type);
    std::string Classify(const at::Tensor& image);
  private:
    torch::DeviceType device_type_;
    Classes classes_;
    torch::jit::script::Module model_;
};

主程序的实现如下：

#include <torch/script.h>
#include "network.h"
#include "third-party/httplib/httplib.h"
#include "utils.h"
int main(int argc, char** argv) {
    try {
        std::string snapshoot_path;