onnxruntime的c++使用

chencision

已于 2022-07-04 15:31:31 修改

阅读量4.2w

点赞数 32

分类专栏：分享文章标签： c++ 深度学习 pytorch

于 2021-01-04 14:27:41 首次发布

本文链接：https://blog.youkuaiyun.com/baidu_34595620/article/details/112176278

版权

onnxruntime的c++使用

利用onnx和onnxruntime实现pytorch深度框架使用C++推理进行服务器部署，模型推理的性能是比python快很多的

版本环境

python:

pytorch == 1.6.0

onnx == 1.7.0

onnxruntime == 1.3.0

c++:

onnxruntime-linux-x64-1.4.0

使用流程

首先，利用pytorch自带的torch.onnx模块导出 .onnx 模型文件，具体查看该部分pytorch官方文档，主要流程如下：

import torch
checkpoint = torch.load(model_path)
model = ModelNet(params)
model.load_state_dict(checkpoint['model'])
model.eval()

input_x_1 = torch.randn(10,20)
input_x_2 = torch.randn(1,20,5)
output, mask = model(input_x_1, input_x_2)

torch.onnx.export(model,
                 (input_x_1, input_x_2),
                 'model.onnx',
                 input_name