qq_27009517的博客

关于模型部署可能有很多种概念或者解释。 根据看的一些文献和接触的一些开源工具，进行梳理。 模型部署说到底，就是通信传输，以及平台存储打通，以及任务的定时工作(定时工作可能偏向于调度了)。 1. 模型部署的抽象理解 1.1 模型导出 对于新训练完的模型进行通信传输（磁盘io或者网络io），这里可以考虑类似于k8或者hdfs这些大数据或者云计算的工具，将模型存储于分布式环境， 即模型从内存 ---> 缓存端(hdfs或其他s3等介质中，甚至说是磁盘) 1.2 模型文件传输 系统部署..

一、将训练好的模型转换格式为ONNX格式 例如pytorch模型转换： def torch2onnx(model, save_path): """ :param model: :param save_path: XXX/XXX.onnx :return: """ model.eval() data = torch.rand(1, 3, 224, 224) input_names = ["input"] output_na...

前言 模型转换思路通常为: Pytorch -> ONNX -> TensorRT Pytorch -> ONNX -> TVM Pytorch ->转换工具-> caffe Pytorch -> torchscript(C++版本Torch) 我的模型是使用Pytorch1.0训练的,第三种方法应该是还不支持,没有对应层名字, 放弃. (以下是用方法3生成的网络结构图, 其中部分层名字和工具对应不上). 因此本文使用第4中方法,详细步骤分两步, 具..