OpenVINO模型部署(权重转化)

OpenVINO是一个由Intel开发的工具,用于将PT模型转换为ONNX中间模型,进而转化为适用于IntelCPU、iGPU和独立显卡的XML模型,以实现高效部署和加速。转换后的模型可以通过Python或C++API进行推理。OpenVINO2022版移除了冗余组件,变得更加轻便易用。转化过程涉及模型优化器(Mo),使用mo.py或mo命令行工具,结合特定参数如输入形状、模型路径和输出路径进行模型转换。转换时需注意通道顺序和预处理的均值、方差设置。

openvno简介

OpenVINO是Intel开发的模型压缩部署工具,可以将ptorch训练出的pt模型转化成onnx中间模型,最终转换成OpenVINO的xml模型,实现压缩加速。Intel对自家的CPU及核显iGPU,以及最新发布的独显都进行了适配,是个不错的部署加速工具。

转化后的xml模型可以由python或C++调用openvino官方API进行推理,当然C++的运行效率会更高,毕竟是关注性能才进行的模型部署。

OpenVINO2022工具包进行了较大的变化,删除了之前包内自带的OpenCV等冗余部件,避免和本机环境产生冲突,同时也精简了工具包,变得更加灵活易用。其中,Mo是模型转化工

  1. python训练得到pth权重,转化成Openvino的xml权重,按照openvino的API编写C++代码调用xml权重即可完成部署(pth→onnx→xml)
  2. pth→onnx调用API,上优快云搜
  3. openvino文档

Documentation - OpenVINO™ documentation

  1. 下载mo转化工具套件(onnx→xml)

Download Intel® Distribution of OpenVINO™ Toolkit

在C语言里,位左对齐右对齐一般在格式化输出时会用到,主要用于控制数据在输出时的位置。以下是相关介绍: ### 整型数据的左对齐右对齐 通过`printf`函数实现整型数据的左对齐右对齐右对齐是默认方式,在格式说明符`%`和`d`之间添加数字来规定输出宽度,若数字位数小于规定宽度,会在左边补空格;左对齐则需在数字前加`-`号,若数字位数小于规定宽度,会在右边补空格。 示例代码如下: ```c #include <stdio.h> int main() { // 右对齐。数字宽度为10,若不足10,在左边补足空格 printf("%10d\n", 1234); // 左对齐。数字宽度为10,若不足10,在右边补足空格 printf("%-10d\n", 1234); return 0; } ``` ### 不同输出长度的情况 当规定的输出宽度和数字实际位数不同时,有不同的处理方式。若规定宽度小于数字实际位数,会完整输出数字;若规定宽度大于数字实际位数,右对齐在左边补空格,左对齐在右边补空格。 示例代码如下: ```c #include <stdio.h> int main() { // -5是左对齐,输出长度为5。5是右对齐,输出长度为5 printf("%-5d %5d\n", 455, 455); printf("%-5d %5d\n", -123, -123); // 规定宽度小于实际位数,完整输出数字 printf("%-5d %5d\n", 987654, 987654); return 0; } ``` ### 其他数据类型的对齐 除整型外,其他数据类型也能实现左对齐右对齐。例如浮点数(`%f`)、字符串(`%s`)等,方法和整型一致。 示例代码如下: ```c #include <stdio.h> int main() { // 右对齐浮点数,宽度为10 printf("%10f\n", 3.14); // 左对齐浮点数,宽度为10 printf("%-10f\n", 3.14); // 右对齐字符串,宽度为10 printf("%10s\n", "hello"); // 左对齐字符串,宽度为10 printf("%-10s\n", "hello"); return 0; } ```
评论 6
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值