50、PyTorch模型部署全攻略

PyTorch模型部署全攻略

1. C++ 环境下的模型推理

在不需要梯度计算的情况下，如同在Python中一样，我们可以通过调用 model->eval() 将模型设置为评估模式。接着，使用输入张量调用 model->forward ，就能得到一个张量结果。这里不涉及JIT（即时编译），所以无需进行IValue的打包和解包操作。

对于Python爱好者来说，用C++编写这些代码着实是一项不小的工程。好在我们只需进行推理，不过LibTorch也提供了优化器、数据加载器等众多功能。使用该API的主要原因在于，当你想要创建模型，且JIT和Python都不太适用时，它就派上用场了。

为了方便使用， CMakeLists.txt 文件中包含了构建 cyclegan-cpp-api 的指令，构建过程与之前的章节类似。可以使用以下命令运行程序：

./cyclegan_cpp_api ../traced_zebra_model.pt ../../data/p1ch2/horse.jpg

2. 模型的移动部署 - 以Android为例

作为模型部署的最后一种方式，我们来探讨将模型部署到移动设备上，这里主要关注Android平台。

PyTorch的C++部分（LibTorch）可以为Android进行编译，我们可以通过Java编写的应用程序，利用Android Java Native Interface（JNI