25、机器学习中的ONNX与命令行工具实践

机器学习中的ONNX与命令行工具实践

1. ONNX与ORT格式转换

ONNX为机器学习模型提供了跨框架的互操作性，允许将成熟的框架转换到目标环境中。最近，ONNX推出了新的内部模型格式ORT，它能最小化模型的构建大小，非常适合在嵌入式或边缘设备上进行优化部署。

边缘设备通常存储容量有限，且读写速度较慢，ORT格式的小体积特性正好解决了这些问题。并且，ONNX一直在努力支持更多不同的硬件配置，这有助于将机器学习模型部署到以前难以实现的环境中。

下面是将ONNX模型转换为ORT格式的具体步骤：
1. 创建虚拟环境并安装依赖
首先，创建一个新的虚拟环境并激活它，然后安装 requirements.txt 文件中列出的依赖：

flatbuffers==1.12
numpy==1.20.1
onnxruntime==1.7.0
protobuf==3.15.6
six==1.15.0

2. 克隆onnxruntime仓库
   由于目前没有单独的工具可用于安装，需要克隆整个 onnxruntime 仓库来尝试转换为ORT：

$ git clone https://github.com/microsoft/onnxruntime.git