OpenVino学习2 --- Demo篇

deployment_tools开发套件中自带 demo 相关解析

C:\Intel\openvino_2021.3.394\deployment_tools\demo

1、demo_benchmark_app.bat

功能： 测试不同 AI 加速硬件的运行时间（Duration）、延时（Latency）、吞吐量（Throughput）

命令： demo_benchmark_app.bat -d CPU demo_benchmark_app.bat -d GPU

输出：

2、demo_security_barrier_camera.bat

功能： 车牌识别演示程序

命令： demo_security_barrier_camera.bat -d CPU demo_security_barrier_camera.bat -d GPU

3、demo_squeezenet_download_convert_run.bat

功能： 是 squeezenet 的演示程序，用于说明神经棒的硬件额驱动是否安装成功。

命令： demo_squeezenet_download_convert_run.bat

4、demo_speech_recognition.bat

功能： 语音识别。

命令： demo_speech_recognition.bat -d CPU

我这里运行错误，少了 speech_library.dll；

编译并运行Inference Engine 的 demo 和 samples

文件在如下路径中

C:\Intel\openvino_2021.3.394\deployment_tools\inference_engine

1、编译 samples 文件夹中的 examples

cmd 中打开

C:\Intel\openvino_2021.3.394\deployment_tools\inference_engine\samples\cpp

运行如下命令，完成 samples cpp 版本的编译工作 build_samples_msvc.bat

编译后文件存在如下路径中

C:\Users\Administrator\Documents\Intel\OpenVINO\inference_engine_cpp_samples_build

这样编译好的可执行文件都在如下文件夹中；（都是Release版本）

C:\Users\Administrator\Documents\Intel\OpenVINO\inference_engine_cpp_samples_build\intel64\Release

如果要得到 Debug版本，需要用 VS 打开如下命令，进行生成就可以；

C:\Users\Administrator\Documents\Intel\OpenVINO\inference_engine_cpp_samples_build\Samples.sln

随便运行 hello_classification.exe

错误，因为没有添加相关模型路径，输入图片路径，推理设备路径；只要对应的加上就可以；

例子：继续往下看

super_resolution_demo.exe -i “C:\1.jpg” -m “C:\Intel\openvino_2021.3.394\deployment_tools\tools\model_downloader\intel\single-image-super-resolution-1032\FP16\single-image-super-resolution-1032.xml” -d CPU

2、编译 demos 文件夹中的 examples

cmd 中打开

C:\Intel\openvino_2021.3.394\deployment_tools\inference_engine\demos

运行如下命令，完成 samples cpp 版本的编译工作 build_demos_msvc.bat

编译后文件存在如下路径中

C:\Users\Administrator\Documents\Intel\OpenVINO\omz_demos_build

这样编译好的可执行文件都在如下文件夹中；（都是Release版本）

C:\Users\Administrator\Documents\Intel\OpenVINO\omz_demos_build\intel64\Release

3、运行 demos 文件夹中的 examples (release版本)

输入要求：输入图片、输入模型、推理设备

3.1 下载模型

OpenVino提供了一些开源模型库 Open Model Zoo，里面包含一些英特尔训练出的库和一些公开库。

https://github.com/openvinotoolkit/open_model_zoo

Openvino提供一个模型下载工具 downloader.py，文件存于如下路径中：

C:\Intel\openvino_2021.3.394\deployment_tools\tools\model_downloader

运行如下命令，显示所有可以下载的模型 python downloader.py --print_all

下载模型命令如下：其中 --name 是模型名，可以一次下载多个模型， --precisions 是模型精度 不设置的话就下载多有的精度（FP32 \ FP16 \ FP16-INT8）

python downloader.py --name face-detection-adas-0001 --precisions

3.2 下载数据

地址

https://github.com/intel-iot-devkit/sample-videos

3.3 运行程序

以 如下 . exe 为例 super_resolution_demo.exe

运行步骤

1）cmd 中打开 C:\Users\Administrator\Documents\Intel\OpenVINO\omz_demos_build\intel64\Release
2）运行命令 super_resolution_demo.exe -i "输入路径” -m “C:\Intel\openvino_2021.3.394\deployment_tools\tools\model_downloader\intel\single-image-super-resolution-1032\FP16\single-image-super-resolution-1032.xml” -d CPU

如果调用摄像头吧 输入路径改为 cam 就行

想要运行别的 .exe程序

看文档，具体下载什么模型、输入图片大小都可以看到。

https://docs.openvinotoolkit.org/latest/resources.html

使用Model Optimizer 优化模型

Model Optimizer 将模型转化为统一的能被 Inference Engine读取、加载并执行推理计算的中间表达（Intermediate Representation）IR 文件；转换的过程中优化模型，提升计算速度；转换模型权重的精度到 FP32、FP16 或 INT8。

转换模型就是将我们训练好的 tensorflow、caffe模型等转化为可以部署的结构，比如将 “.caffemodel” 转换为可以作为推理的 “.bin” 、“.xml” 文件，其中bin是模型参数，xml是网络的拓扑结构。

转换模型是使用deployment_tools 里面 model_optimizer 下的工具，具体如下：

1、转换为 IR 文件

模型转换脚本位于如下路径中，其中 mo文件夹里面就是转换需要的工具，mo.py\mo_caffe.py是转换文件，他们几个都是调用相同 mo.utils.cli_parser 里面的函数实现的。

2、查看转模型参数

查看下转换需要的参数：
可以调用命令：mo_tf.py --help
直接在cmd的输入会报错，添加对应的打开环境就好了，例子如下所示
C:\Intel\openvino_2021.3.394\deployment_tools\model_optimizer>C:\Anaconda3\python.exe mo_tf.py --help

重要参数：

• –input_model INPUT_MODEL, -w INPUT_MODEL, -m INPUT_MODEL 文件路径
• –model_name MODEL_NAME, -n MODEL_NAME 文件名
• –output_dir OUTPUT_DIR, -o OUTPUT_DIR 输出路径
• –input_shape INPUT_SHAPE 输入模型的大小
• –reverse_input_channels 将 RGB格式转变为BGR格式，因为opencv使用的格式是BGR的；这个参数就是如果训练的模型是用 RGB格式图片训练的，那么这个参数必须要设置
  
• –scale SCALE, -s SCALE
• –mean_values MEAN_VALUES, -ms MEAN_VALUES、–scale_values SCALE_VALUES 均值、方差
  上面的执行相同的功能，一般选后面的两个；
  
  –disable_nhwc_to_nchw Disables default translation from NHWC to NCHW 没设置的话直接转 NCHW
  – batch BATCH, -b BATCH 这个参数可以设置一次可以跑几张图

例子：

C:\Anaconda\python.exe C:\Intel\openvino_2021.3.394\deployment_tools\model_optimizer\mo_tf.py --input_model=C:\Users\78185\Desktop\cat_dog\cat_dog.pb --input_shape=[1,224,224,3] --mean_values=[0,0,0] --scale_values=[255,255,255] --reverse_input_channels