18、将PyTorch模型投入生产的方法与实践

将PyTorch模型投入生产的方法与实践

1. PyTorch投入生产的背景与挑战

2017年，PyTorch发布可用版本，最初定位是面向研究人员的以Python为先的框架。但随后大量的生产需求涌现，社区决定在1.0版本中融入生产能力，同时不牺牲其易用性和灵活性。

将生产支持融入核心的主要障碍在于要跳出Python的范畴，把PyTorch模型迁移到具有多线程能力、更快且线程安全的语言中，但这又违背了此前以Python为先的原则。

2. 解决问题的途径

• ONNX格式 ：
  • 第一步是使开放神经网络交换（ONNX）格式稳定，并与所有流行框架兼容。ONNX定义了深度学习图所需的基本运算符和标准数据类型，为其融入PyTorch核心铺平了道路，并且针对CNTK、MXNet、TensorFlow等流行深度学习框架都构建了ONNX转换器。
  • 然而，ONNX存在一个主要缺点，即其脚本模式。它通过运行一次图来获取图的信息，然后转换为ONNX格式，因此无法迁移模型中的控制流（例如在循环神经网络（RNN）模型中使用for循环处理不同序列长度）。
• 构建高性能后端 ：
  • 第二种方法是在PyTorch内部构建高性能后端。没有从头开始构建，而是将Caffe2的核心与PyTorch核心合并，但保留了Python API。不过，这并未解决Python语言本身的问题。
• 引入TorchScript </