openvno简介
OpenVINO是Intel开发的模型压缩部署工具,可以将ptorch训练出的pt模型转化成onnx中间模型,最终转换成OpenVINO的xml模型,实现压缩加速。Intel对自家的CPU及核显iGPU,以及最新发布的独显都进行了适配,是个不错的部署加速工具。
转化后的xml模型可以由python或C++调用openvino官方API进行推理,当然C++的运行效率会更高,毕竟是关注性能才进行的模型部署。
OpenVINO2022工具包进行了较大的变化,删除了之前包内自带的OpenCV等冗余部件,避免和本机环境产生冲突,同时也精简了工具包,变得更加灵活易用。其中,Mo是模型转化工
- python训练得到pth权重,转化成Openvino的xml权重,按照openvino的API编写C++代码调用xml权重即可完成部署(pth→onnx→xml)
- pth→onnx调用API,上优快云搜
- openvino文档
Documentation - OpenVINO™ documentation
- 下载mo转化工具套件(onnx→xml)

OpenVINO是一个由Intel开发的工具,用于将PT模型转换为ONNX中间模型,进而转化为适用于IntelCPU、iGPU和独立显卡的XML模型,以实现高效部署和加速。转换后的模型可以通过Python或C++API进行推理。OpenVINO2022版移除了冗余组件,变得更加轻便易用。转化过程涉及模型优化器(Mo),使用mo.py或mo命令行工具,结合特定参数如输入形状、模型路径和输出路径进行模型转换。转换时需注意通道顺序和预处理的均值、方差设置。
最低0.47元/天 解锁文章
2472





