二、OpenVINO简述与构建流程

关注

原创 2022-07-15 22:50:15 1.2k 阅读 AI 写同款· GEO 优化 ›

OpenVino快速落地部署教程 Openvino是由Intel开发的专门用于优化和部署人工智能推理的半开源的工具包，主要用于对深度推理做优化。本教程适用于Yolov5-7.0，直接跑Yolov5为6FPS，使用OpenVino后为30FPS，未来将会出一系列其他模型（Paddle等）的OpenVino部署教程，测试平台——Intel Nuc 11代i5处理器阅读详情

二、OpenVINO简述与构建流程

1 人工智能与视觉应用

1. 计算机视觉与图像处理

图像： 在计算机中，每张图像是由像素构成的阵列，表示为像素值。通常在灰度图中，像素仅单个通道，每个像素值的区间为0 ~ 255，其中255表示白色，0表示黑色。而在彩色RGB图像中，每个像素由R、G、B三个通道组成，每个通道中的像素值区间均为0 ~ 255。
视频： 如果说图像是多个像素构成的阵列，那么视频则是由一系列连续图像组成的序列，当图像切换速度足够快时，就形成了平滑连续的视觉效果。如在电影视频中，每秒24帧指的是视频每秒放映的画面数，一幅画面就是一帧，连续的24帧构成了视频一秒内的输出内容。至于为什么看24帧的电影毫无违和感，而60帧以下的游戏却会感觉到明显卡顿，这里就涉及到动态模糊，现实光影在记录时会因为动态模糊存在“多余”的丰富图像信息，而游戏3D实时渲染却不会存在这些动态模糊带来的“多余”信息，其间的差异就造成了观看时的卡顿感。至于动态模糊的概念，这里暂且不做过多赘述。
图像处理
- 模糊：平滑处理每个像素及其周围的8个像素值，选取其平均值作为该点的像素值，即可获得更加模糊的图像。
- 锐化：扩大像素点与周围像素点的差异，将会得到更锐利的图像。继续进行锐化，图像将仅保留像素值的显著差异，只能看到图像中物体的边缘，可用于检测图像的角、边缘、线等
- 边缘：在RGB图像中，边缘常常存在于像素值剧烈变化处。因此常常针对这一特征进行物体边缘检测。可以检测图像中的边缘、线、角作为图像特征，由此查找真实图像

2. 视频压缩技术与加速处理

视频压缩技术： 假设在未经压缩的情况下，1080P 25帧视频的一帧由1920×1080个像素点组成，每个像素点有RGB三个通道，大小约3 bytes。此时一帧图像约为6.2 MB，每秒需要155 MB存储空间，那么一分钟视频约为9.3 GB。为了压缩这些数据，达到通过较少比特去呈现大量数据，同时不丢失太多信息的目的。就需要利用视频压缩，即冗余技术。
冗余：
- 空间冗余：在一系列图像内，天空区域所有像素都是相同颜色，此时无需存储每张图像中天空区域的全部像素，仅需存储该区域所有像素的平均值，在显示时应用到天空区域内每个像素上即可。
- 时间冗余：在连续帧中局部区域内目标对象像素颜色相同，位置随时间变化，此时仅需存储第一帧中该对象的像素，在后续帧中直接使用即可。
- 帧：
  - I 帧：在存储时，某些帧因包含独特信息，需要将整帧像素内容全部存储，这种帧就叫做 I 帧
  - P 帧：在两个 I 帧之间，可以用于记录两帧间的差异，这些帧就叫 P 帧。其中包含了如何从上一个 I 帧生成此 P帧的信息，数据量约为 I 帧的 1/2。
  - B 帧：存在于 I 帧与 P 帧之间，记录帧与帧之间的差值，数据量量为 I 帧的 1/4，B 帧之间的变化可以自动生成。
编解码器与视频加速
- 编解码器：视频在传输与存储时应进行编码压缩，播放时需要解码还原。为保证双端一致，其间的规则为编解码技术，由编解码器对视频进行压缩和解压缩。目前常用的编解码器为H.264与AVC、H.265与HEVC等，后者的压缩速度为前者的两倍，但消耗的资源则是前者的三倍。
- 视频文件：视频文件的本质是一个Container容器文件，以mp4文件为例，其中包含了视频流文件H.264、音频流文件mp3以及信息流元数据等。
- 视频处理任务：将视频存储在大型缓冲区中进行逐帧处理，比较并查看两帧之间发生的变化。
- 硬件加速：基于Intel 快速视频同步技术（Quick Sync Video Technology，QSVT），Intel CPU可以完成对视频的编解码处理任务。同时Intel集成显卡包含EUs和QSVT两部分，EUs为GPU处理器单元，用于图像视频渲染任务，QSVT则负责加速视频编解码等处理任务。
- 软件加速：Intel 驱动程序 位于集成GPU上层，在其之上是 VAAPI-Libva 视频加速API，在往上则是封装好的 Media-SDK，用于提供C++/Python的API接口，帮助用户在多平台多系统下通过该软件使用Intel QSVT完成对视频的编解码以及处理任务。可通过 OpenCV、FFMPEG、GStreamer 直接访问Media-SDK API，目前OpenVINO中已包含了Media-SDK。

3. 视觉应用与神经网络加速

神经网络
- 训练：神经网络输入大量数据，改进权重，降低错误率，最终获得一个具有特定权重的神经网络的过程。
- 推理：神经网络输入新的图像，获得答案的过程。
DLDT： DLDT为Intel提供的深度学习部署套件（Deep Learning Deployment Toolkit），作为OpenVINO的核心组件，DLDT提供了构建AI应用的解决方案、示例、程序以及模型下载器等。通过DLDT，用户可以将预训练模型（TensorFlow、Caffe、mxnet、ONNX）输入到模型优化器中，转换为中间表示的IR格式，随后采用推理引擎读取IR文件，在多种硬件上进行推理即可。对于PyTorch模型，需要先转化为ONNX格式，再输入到模型优化器中进行转换即可。

4. 视频分析处理流程

视频分析 = 视频处理 + 计算机视觉 + AI 推理
- 解码：对压缩的视频流进行解码，可同时解码多个不同分辨率和格式的视频流
- 预处理：通过锐化、亮度调整等操作提升图像质量；当图像尺寸过大时，可缩小图像或裁剪感兴趣区域（ROI）；可选择跳过部分帧或尝试推理所有帧。
- 推理：使用多个或单个深度学习模型进行推理，对输入图像进行检测、分类以及识别等操作
- 发送处理：在获得处理结果后针对原始图像进行处理，如绘制检测框等
- 编码：压缩视频以便进行传输或存储
注：上述所有操作均要在每一帧上运行，但也有部分操作需要跨帧运行，以”跟踪（Tracking）“为例，对于移动状态的同一对象，无需重新连续识别浪费资源，只需跳帧识别，比较连续帧，确认是同一对象即可。
组件应用情况
- Media-SDK：编解码和预处理
- DLDT：基于深度学习的推理加速
- OpenCV：理论上基本可完成整个流程，但有时需要调用Media-SDK或推理引擎

2 OpenVINO简述与 AI应用构建流程

1. OpenVINO简述

OpenVINO Toolkit，由Intel提供的开放视觉推理与神经网络优化（Open Visual Inference and Neural Optimization）工具集，是一整套面向AI应用的Intel解决方案，提供了大量开源资源，包括预训练模型、应用示例以及场景演示等。
OpenVINO架构

2. 模型优化器简介

模型优化器（Model Optimizer）：跨平台的命令行工具，支持训练和部署环境之间的转换，执行静态模型分析并自动调整深度学习模型
IR文件（IR）：OpenVINO的中间层表示，由一个包含网络拓扑信息的xml文件和一个包含权重和偏差二进制数据的bin文件组成。
推理引擎（Inference Engine）：支持IR格式模型，采用模型在多种设备上运行并完成推理
处理流程可采用离线方式，需要采用模型优化器将模型转为IR文件，在得到IR文件后，即可进行反复推理。

在这里插入图片描述

3. AI应用构建流程

在这里插入图片描述

模型获取（Model）：寻找合适的深度学习模型执行相应的任务
- 使用OpenVINO提供的模型下载器进行下载
  
  python downloader.py --name model_name --output path
- 从零开始训练模型，在制作数据集时可采用CVAT进行标注
- 从Model Zoo中下载预训练模型，这些模型均针对推理进行了优化，也可通过个人数据集进行重新训练，模型精度有FP32、FP16、INT8三种
推理前准备（Prepare Inference）：模型通常是在云环境中训练，采用的是浮点格式，可支持模型格式转换。
- 模型优化器可将各种框架中训练的模型转化成中间表示IR文件，以Caffe模型为例，执行命令mo_caffe.py --input_model path --output_dir path，即可将转化后的IR文件输出到指定路径，供推理引擎进行推理。
- IR文件为OpenVINO的中间层表示，由一个包含网络拓扑信息的xml文件和一个包含权重和偏差二进制数据的bin文件组成。
性能指标评测（Benchmark）：在多平台使用多项优化技术和多种数据格式进行性能指标评测，最终选择符合要求的
- 在准备好用于推理的模型后，Intel提供了用于基准性能测试的试用程序，在输入IR模型后，会输出该模型的各项参数数据。
  
  ./benchmark_app -m /model_name.xml
- DEV Cloud包括多种可用于对工作负载进行性能测试的硬件系统，可免费注册进行测试
- 若要对网络进行深层调试，OpenVINO API中内置了性能计算器，可对网络的每一层数据进行查找
- WorkBench是为深度学习模型的性能分析与调试提供可视化的web应用，DL WorkBench在生成模型性能报告时可以实现：
  - 拓扑可视化
  - 模型性能对比
  - 模型逐层分析
选择系统（Select System）：这是整个流程中最关键的一步，需要选取合适的系统进行任务，尽量选择异构的系统对推理进行支持，如将CPU、GPU、FPGA以及VPU等进行组合。
编解码密度（Decode Density）：采用Media-SDK进行编解码并处理图像，同时了解设备的编解码能力，选取合适的设备进行支持。AI应用系统通过支持尽可能多的摄像头与视频流，来降低系统的整体成本
模拟工作负载（Full Pipeline）：为了最大限度发挥系统性能，常采用GStreamer插件模拟整个流程的工作负载，获得相应的模拟结果以选择合适工作环境，以下图为例，其具体流程为：

加载视频→解码→转换解视频输出格式→加载加载脸部检测模型进行检测→加载情绪识别模型进行识别
构建AI应用（AI Application）：在确认所选系统可胜任工作后，构建软件或采用OpenVINO将视频分析处理流程和推理整合到现有应用中。需要注意的是，在实际AI系统中，解码、编码以及推理工作常常一起进行。