ONNX Runtime 入门实践

什么是ONNX Runtime

ONNX Runtime是一种高性能引擎，旨在高效运行 ONNX 模型。它是一种帮助更快、更高效地运行机器学习模型的工具。它适用于 Windows、Mac 和 Linux 等不同平台.

ONNX Runtime 的工作原理

获取模型:

第一步是获取已使用支持导出或转换为 ONNX 格式的任何框架进行训练的机器学习模型。PyTorch、TensorFlow 和 scikit-learn 等流行框架提供了将模型导出到 ONNX 的工具。

加载和运行模型:

获得 ONNX 模型后，您可以将其加载到 ONNX Runtime 并执行它。此步骤很简单，并且有教程可用于使用不同的编程语言(例如 Python、C# 和 C++)运行模型。

提高性能(可选): ONNX Runtime 允许使用各种Runtime配置和硬件加速器进行性能调整。 

ONNX Runtime 示例

下载模型, 导入模块, 编写简单功能

import onnxruntime as ort
import numpy as np

# 加载模型（例如 ResNet-50）
ort_session = ort.InferenceSession("resnet50.onnx")

# 生成随机输入
input_data = np.random.randn(1, 3, 224, 224).astype(np.float32)

# 运行推理
outputs = ort_session .run(["output"], {"input": input_data})
print(outputs[0].shape)