ubuntu18.04 yolov5部署openvino c++代码实现 踩坑实录(2022)

假设我们现在获得了一个.pt，我们的思路就是.pt -> .onnx -> IR -> 模型推理

环境：torch 1.9.0 python 3.7 openvino 2021.4 opencv 4.5

参考：yolov5的openvino部署_迷途小书童的Note的博客-优快云博客 21年的文章了,但是还能用​​​​​​【全流程】从头在树莓派4B上部署自己训练的yolov5模型（配合NCS2加速）_Rainbowman 0的博客-优快云博客_树莓派yolov5

有参考意义

最后的代码用的是这个：

GitHub - fb029ed/yolov5_cpp_openvino: 用c++实现了yolov5使用openvino的部署

真牛逼，２０年的东西现在还能用（不过只是能跑，应用起来很糟糕，全是框）

已解决的问题：

（对于参考中第一个网址）

１．将原来opset_version由12改为10．否则最后用在openvino时会报错说有unsupported opset之类的．

这个问题也可以通过升级openvino的版本来解决．2021.2的版本只有5个opset. 2021.4的版本有7个opset.这个方案我没有验证．

在export.py中找到

        torch.onnx.export(model, im, f, verbose=False, opset_version=12,
                          training=torch.onnx.TrainingMode.TRAINING if train else torch.onnx.TrainingMode.EVAL,
                          do_constant_folding=not train,
                          input_names=['images'],
                          output_names=['output'],
                          dynamic_axes={'images': {0: 'batch', 2: 'height', 3: 'width'},  # shape(1,3,640,640)
                                        'output': {0: 'batch', 1: 'anchors'}  # shape(1,25200,85)
                                        } if dynamic else None)

将opset_version改为10(对不起我不知道原理，我刚开始学)

2.在openvino转化ＩＲ中发现　ModuleNotFoundError: No module named  numpy 报错

解决方案是　python xxxxx ->  python3 xxxxx

3.import openvino不好使

多半是setupvar.sh初始化失败，比如我的这家伙一直在寻找一个在python目录中叫python3.9的文件夹，这里可以粗暴点解决．

在她要寻找的目录里建一个python3.9,然后把旁边python3.7里的所有文件复制进去，就正常了！