OpenVINO模型部署（权重转化）

原创 已于 2023-07-22 20:16:27 修改 · 2.4k 阅读 · 14 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #计算机视觉 #opencv

于 2023-03-13 13:16:52 首次发布
OpenVINO是一个由Intel开发的工具，用于将PT模型转换为ONNX中间模型，进而转化为适用于IntelCPU、iGPU和独立显卡的XML模型，以实现高效部署和加速。转换后的模型可以通过Python或C++API进行推理。OpenVINO2022版移除了冗余组件，变得更加轻便易用。转化过程涉及模型优化器(Mo)，使用mo.py或mo命令行工具，结合特定参数如输入形状、模型路径和输出路径进行模型转换。转换时需注意通道顺序和预处理的均值、方差设置。

openvno简介

OpenVINO是Intel开发的模型压缩部署工具，可以将ptorch训练出的pt模型转化成onnx中间模型，最终转换成OpenVINO的xml模型，实现压缩加速。Intel对自家的CPU及核显iGPU，以及最新发布的独显都进行了适配，是个不错的部署加速工具。

转化后的xml模型可以由python或C++调用openvino官方API进行推理，当然C++的运行效率会更高，毕竟是关注性能才进行的模型部署。

OpenVINO2022工具包进行了较大的变化，删除了之前包内自带的OpenCV等冗余部件，避免和本机环境产生冲突，同时也精简了工具包，变得更加灵活易用。其中，Mo是模型转化工

  1. python训练得到pth权重，转化成Openvino的xml权重，按照openvino的API编写C++代码调用xml权重即可完成部署（pth→onnx→xml）
  2. pth→onnx调用API，上优快云搜
  3. openvino文档

Documentation - OpenVINO™ documentation

  1. 下载mo转化工具套件(onnx→xml)

Download Intel® Distribution of OpenVINO™ Toolkit

最低0.47元/天 解锁文章
epic_Lin
关注
CPU也能跑模型：OpenVINO模型部署入门教程
DeepDriving
11-05 2472
OpenVINO）是英特尔推出的一个用于深度学习推理的开源工具套件，旨在帮助开发人员优化和部署深度学习模型，以在各种硬件平台上实现高性能的推理。OpenVINO跨平台支持OpenVINO支持多种硬件平台，包括英特尔的CPU、集成显卡、FPGA以及神经计算棒（），这使得开发人员能够在各种设备上进行高效的深度学习推理。模型优化OpenVINO提供了一系列工具和技术，可用于优化和转换深度学习模型，以便在目标硬件上实现更高的性能和效率，这包括模型压缩、量化、剪枝等技术。推理加速OpenVINO。
OpenVINO 2022.3之四：OpenVINO模型转换
mingo_敏
05-06 3827
OpenVINO 2022.3 支持的模型格式:OpenVINO IR（中间表示） - OpenVINO™的专有格式，可以完全利用其全部功能。ONNX和PaddlePaddle - 直接支持的格式，这意味着它们可以在OpenVINO Runtime中使用，无需进行任何先前的转换。有关如何在ONNX和PaddlePaddle上运行推理的指南，请参阅如何将OpenVINO™与您的应用程序集成。
OpenVino 2023.0学习使用（1）-简介
qq_44632658的博客
06-18 2105
模型制备。
什么是 OpenVINO：Intel 的开源深度学习推理工具包
最新发布
彬彬侠的博客
10-16 1091
OpenVINO简介 OpenVINO（Open Visual Inference and Neural Network Optimization）是Intel开发的开源工具包，专为优化和加速深度学习模型在Intel硬件（CPU、GPU、VPU、FPGA）上的推理部署而设计。它支持多种框架（如TensorFlow、PyTorch、ONNX），提供模型量化、剪枝等优化技术，显著提升推理速度。与OpenCV深度集成，适用于智能监控、工业检测、医疗影像等场景。OpenVINO具备跨平台支持、易用API和丰富预训练
OpenVINO教程（一）：架构原理解析、安装配置与初步体验
Fengchao.Dai的博客
03-14 2223
OpenVINO的介绍,安装与实际应用
OpenVINO部署
weixin_42010722的博客
06-26 3683
OpenVINO（Open Visual Inference and Neural Network Optimization）是由英特尔开发的工具包，旨在优化和加速在各种英特尔架构（如CPU、GPU和FPGA）上的深度学习推理，特别侧重于计算机视觉任务。该工具包支持来自流行框架（如TensorFlow和PyTorch）的模型，将它们转换为适合在英特尔硬件上部署的中间表示。
OpenVINO 部署
专业主义
12-13 846
win10运行OpenVINO R3的demo时报错 在运行demo执行demo_security_barrier_camera.bat时报错cmake无法打开文件，重新安装cmake仍然有错， CMake Error at D:/cmake-3.8.0/share/cmake-3.8/Modules/CMakeDetermineSystem.cmake:168 (file): file failed to open for writing (No such file or directory): 解决方法
openvino部署-使用openvino部署NanoDet-IntelCPU-项目部署-附详细完整流程教程
10-20
OpenVINO是由英特尔公司开发的一款优化工具集，专为...通过阅读这份教程，开发者可以掌握OpenVINO工具集的使用，了解如何将深度学习模型转化为优化后的执行格式，并在实际项目中运用这些知识，实现高效稳定的模型部署。
YOLOv5 OpenVINO IR模型
05-25
而OpenVINO（Open Visual Inference and Neural Network Optimization）是Intel推出的一款高性能的深度学习推理框架，它优化了在Intel硬件上运行的神经网络模型，从而加速了AI应用的部署。 IR（Intermediate ...
openvino约洛夫_openvino部署yolov5.zip
08-31
将YOLOv5模型部署到OpenVINO环境中，可以为开发者提供一种有效的方式，利用OpenVINO提供的优化功能来加速YOLOv5模型的执行速度，同时降低运行时的资源消耗。这种部署方式使得开发者能够将高级的图像识别技术应用到...
OpenVINO部署onnx模型（C++）
nb12138的博客
07-14 632
本文介绍了将PyTorch模型转换为ONNX格式并部署到OpenVINO框架的完整流程。首先使用PyTorch将模型导出为ONNX格式，支持动态维度输入输出；然后通过OpenVINO工具将ONNX模型转换为IR格式（xml和bin文件）；最后展示了在OpenVINO环境下加载IR模型进行视频推理的C++实现，包括模型编译、推理请求创建和结果可视化。整个过程实现了从深度学习模型到实际应用的部署，并展示了在CPU上的实时推理性能，包括帧率和推理时间的显示。
OpenVINO使用的FP32格式FaceNet模型
02-14
OpenVINO使用的FaceNet 114759模型的转换模型，运行目标设备为Intel的6-8代CPU
Python-OpenVINOToolkit深度学习部署工具集
08-12
OpenVINO深度学习部署工具集，支持Open Model Zoo预训练模型以及100多种流行格式的开源和公共模型，如Caffe *，Tensorflow *，MXNet *和ONNX *
【深度学习】【OpenVINO】【C++】模型转化、环境搭建以及模型部署的详细教程
yangyu0515的博客
10-26 5665
【深度学习】【OpenVINO】【C++】模型转化、环境搭建以及模型部署的详细教程
OpenVino快速落地部署教程
xiongqi123123的博客
08-27 2063
Openvino是由Intel开发的专门用于优化和部署人工智能推理的半开源的工具包，主要用于对深度推理做优化。本教程适用于Yolov5-7.0，直接跑Yolov5为6FPS，使用OpenVino后为30FPS，未来将会出一系列其他模型（Paddle等）的OpenVino部署教程，测试平台——Intel Nuc 11代i5处理器
OpenVINO Toolkit 系列(三) —— 模型转换与推理加速
Rosen的博客
03-18 6240
OpenVINO™ 是用于优化和部署 AI 推理的开源工具包。 1. 提升计算机视觉、自动语音识别、自然语言处理和其他常见任务中的深度学习性能 2. 使用通过 TensorFlow、PyTorch 等流行框架训练的模型 3. 减少资源需求并在从边缘到云的一系列英特尔® 平台上高效部署
OpenVINO的部署和使用
qq26983255的博客
06-22 7937
现在几乎每家硬件或互联网公司都推出了自家的机器学习框架，小米的mace、谷歌的TensorFlow、Facebook的Torch等等。今天要介绍的是Inter公司出品的OpenVINO。OpenVINO主要分为Model Optimize和Inference两个部分。第一个就是把不同机器学习平台下训练出来的模型转换成OpenVINO可以是别的xml和bin两个组成的模型。然后执行Inf...
openvino模型学习-从模型转化流水线制作
kewei chen
07-18 864
第一个深度学习相关的目标检测网络正是基于这样思想的RCNN模型，但是它的缺点是无法实时，所以2015年底有人提出了一个实时目标检测网络SingleShotMultiBoxDetector缩写为SSD。Linux下运行sh文件出现invalidoptionset-问题的原因主要是因为你可能在Windows环境下打开过.sh文件，那么无形中就会改变文件的一些属性，比如换行符的问题。解决方案是在Linux环境下，在你的目标文件夹下，键入命令行。这里的*是你的sh文件名，记得修改。...
openvino最简单的部署
random_repick的专栏
04-20 2058
1.前言 openvino可以看成一个驱动，你只要找到合适的头文件和库，就可以使用相应的设备，如CPU、GPU、计算棒等等。 当然，你必须先有一个安装了openvino的设备，参考这里 2.头文件和库 头文件 /opt/intel/openvino/deployment_tools/inference_engine/include /opt/intel/openvino/deployment_tools/ngraph/include /opt/intel/openvino/deployment_to
评论 6
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值