OpenVINO2020+NCS2代运行TensorFlow模型

背景

  从GitHub上找了个Yolov3的TensorFlow实现¹，自己标注数据集，训练出结果后，跑起来实在是太慢了，800+ms一张图片，毫无实用性。最终应用场景又不可能整个工作站、2080ti什么的，头疼。无意间发现了OpenVINO和神经计算棒二代，听说能加速？那就试试咯

分析

  无非就三步嘛
  1、安装OpenVINO，配置好环境
  2、把TensorFlow模型转换成xml+bin文件
  3、调用api，输入数据得出结果

行动

一、安装OpenVINO

  不得不说官方文档²的确是最好的教程，比网上绝大多数帖子博客（包括我的哈哈哈）都要详细，建议先看。英文可以翻译，词汇不算复杂。也有中文文档，安装部分写得不错

1、win10

  这是win10安装教程，概括一下就是要安装以下软件：

• OpenVINO
• VS2019/2017/2015及Build Tools
• CMake
• Python3.6.5+

  其中VS及生成工具安装可能不大好找，这里贴出微软官方下载链接，没需求的话安装2015就行了。
  建议先安装好其他三项再安装OpenVINO，会出现这样的界面，不然会提醒你还有什么没安装。

  建议默认安装路径，省事。2020版本貌似不用自定义选择组件安装了。

2、树莓派

  这是树莓派安装教程，相较于win10来说，它不转换模型，只有推理引擎。需要安装以下软件：

• OpenVINO
• CMake
• Python3.6.5+

  OpenVINO的安装包只有20来M，安装起来非常快，还包含了OpenCV，不用编译！

3、设置环境变量

  win10平台是一个bat文件，打开cmd运行即可，然后在这个命令行窗口进行转换推理等操作
  树莓派里是一个sh文件，操作同上。可以执行以下命令，意思是在.bashrc里加入source /opt/intel/openvino/bin/setupvars.sh这么一句，每次打开终端都会运行设置环境变量的指令。

echo "source /opt/intel/openvino/bin/setupvars.sh" >> ~/.bashrc

4、挂载USB

  win10平台不用管，Linux和树莓派上需要设置USB规则，具体看官方教程，敲几句命令的事。

5、验证demo

   设置完环境变量后，win10里是执行一个bat，它会下载xml+bin文件，这就是OpenVINO的模型文件，然后调用Build Tools和CMake生成一个exe文件，再去执行。树莓派类似。
  说明：如果安装在了其他路径下，可能要去demo bat或者sh文件里修改对应的路径。

6、总结

   win10：