50、PyTorch模型部署全解析：从C++到移动端

PyTorch模型部署全解析：从C++到移动端

1. C++中进行模型推理

在不需要梯度的情况下，我们可以在C++中进行模型推理。和Python中一样，我们通过调用 model->eval() 将模型设置为评估模式。接着，使用输入张量调用 model->forward ，就能得到一个张量结果，这个过程不涉及JIT，所以不需要进行IValue的打包和解包操作。

对于Python爱好者来说，用C++实现这些操作很繁琐。不过好在我们只需要进行推理，而且LibTorch还提供了优化器、数据加载器等功能。使用这个API的主要场景是，当你想创建模型，而JIT和Python都不太合适的时候。

为了方便构建， CMakeLists.txt 中包含了构建 cyclegan-cpp-api 的指令，构建过程和之前的部分类似。我们可以这样运行程序：

./cyclegan_cpp_api ../traced_zebra_model.pt ../../data/p1ch2/horse.jpg

2. 模型移动部署至移动端

作为模型部署的最后一种方式，我们来看看如何将模型部署到移动设备上。通常，将模型部署到移动端主要考虑Android和/或iOS平台，这里我们重点关注Android。

PyTorch的C++部分（LibTorch）可以为Android进行编译，我们可以通过Java编写的应用程序，利用Android Java N