海思3519dv500目标识别之yolov5板端运行

1. 运行准备

环境搭建请移步:https://blog.youkuaiyun.com/wyw0000/article/details/145105081

1.1 安装nfs服务

服务端安装nfs服务,用于将yolo相关目录及依赖库挂在到板端

apt-get install nfs-kernel-server

1.2 依赖库

在这里插入图片描述

这些库位于Hi3519DV500_SDK_V1.0.1.1\smp\smp\a55_linux\source\out\lib目录下
将其挂在到板端,并添加到环境变量中:

telnet 192.168.0.11
mount -t nfs -o nolock 192.168.0.248:/home/zm/wyw/Hi3519DV500_SDK_V1.0.1.1/smp/smp/a55_linux/source/out/lib /tmp/lib
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/tmp/lib

1.3 opencv库

位于SVP_NNN_PC_V3.0.2.1/Sample/samples/third_party/musl/opencv目录下
将其挂在到板端,并添加到环境变量中:

mkdir /tmp/opencv-lib
mount -t nfs -o nolock 192.168.0.248:/home/zm/wyw/SVP_NNN_PC_V3.0.2.1/Sample/samples/third_party/musl/opencv/lib /tmp/opencv-lib
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/tmp/opencv-lib

1.4 挂载yolo目录

telnet 192.168.0.11
mkdir /tmp/yolo
mount -t nfs -o nolock,tcp 192.168.0.148 /home/xx/work/yolo /tmp/yolo

2. 运行yolov5demo

./board_musl_main 5 ../model/yolov5_original.om ../../dog_bike_car_yolov5.bin
[INFO]  ./main param
param is model and input image bin pair(default 1)
[INFO]  param 1: yolov1.om and dog_bike_car_yolov1.bin
[INFO]  param 2: yolov2.om and dog_bike_car_yolov2.bin
[INFO]  param 3: yolov3.om and dog_bike_car_yolov3.bin
[INFO]  param 4: yolov4.om and dog_bike_car_yolov4.bin
[INFO]  param 5: yolov5.om and dog_bike_car_yolov5.bin
[INFO]  param 5_cpu: yolov5_cpu.om and dog_bike_car_yolov5.bin
[INFO]  param 7: yolov7.om and dog_bike_car_yolov7.bin
[INFO]  param 8: yolov8.om and dog_bike_car_yolov8.bin
[INFO]  param x: yolox.om and dog_bike_car_yolovx.bin
[INFO]  yolo v5
[INFO]  acl init success
[INFO]  open device 0 success
[INFO]  set op wait time success
[INFO]  create context success
[INFO]  create stream success
[INFO]  get run mode success
[INFO]  load model ../model/yolov5_original.om success
[INFO]  create model description success
[INFO]  create model output success
[INFO]  start to process file:../data/dog_bike_car_yolov5.bin
[INFO]  model execute success
[INFO]  dump data success
[INFO]  input image width[640]; height[640]
[INFO]  current class valid box number is: 1
[INFO]  lx: 0.000000, ly: 409.000000, rx: 312.250000, ry: 622.000000, score: 0.918945; class id: 1
[INFO]  current class valid box number is: 1
[INFO]  lx: 21.625000, ly: 188.875000, rx: 261.500000, ry: 279.000000, score: 0.926270; class id: 2
[INFO]  current class valid box number is: 1
[INFO]  lx: 388.250000, ly: 405.500000, rx: 574.000000, ry: 629.500000, score: 0.910645; class id: 14
[INFO]  current class valid box number is: 1
[INFO]  lx: 386.500000, ly: 21.750000, rx: 584.000000, ry: 287.750000, score: 0.880859; class id: 16
[INFO]  output data success
[INFO]  unload model success, modelId is 34
[INFO]  execute sample success
[INFO]  end to destroy stream
[INFO]  end to destroy context
[INFO]  end to reset device is 0
[INFO]  end to finalize acl

无报错的话,结果输出在yolo/out目录名为out_img_yolov5.jpg
结果如下:
在这里插入图片描述

### 海思 Hi3519 芯片部署 YOLOv8 模型的解决方案 #### 一、背景概述 海思 Hi3519 是一款广泛应用于视频监控领域的 AI 芯片,具备强大的图像处理能力和一定的神经网络加速性能。YOLOv8 是一种先进的目标检测模型,在精度和速度之间取得了良好的平衡[^2]。为了在该芯片上成功部署 YOLOv8 模型,需经历一系列复杂的转换过程。 --- #### 二、整体部署流程 ##### 1. **模型训练与导出** - 使用 Ultralytics 提供的官方工具完成 YOLOv8 的训练工作。 - 训练完成后,通过 `torch.onnx.export` 将 PyTorch 格式的模型转化为 ONNX 格式[^1]。 ```python import torch model = torch.hub.load('ultralytics/yolov5', 'custom', path='best.pt') # 加载自定义权重 dummy_input = torch.randn(1, 3, 640, 640) # 输入张量形状 torch.onnx.export(model, dummy_input, "yolov8.onnx", opset_version=11) ``` 此部分操作确保了模型能够被后续工具兼容并进一步优化。 --- ##### 2. **ONNX 到 Caffe 模型的转换** 由于海思 SDK 更倾向于支持 Caffe 模型,因此需要借助第三方工具(如 `onnx-simplifier` 和 `mmdeploy`)将 ONNX 文件转换为 Caffe 格式。 ```bash pip install onnxsim mmdeploy onnxsim yolov8.onnx simplified_yolov8.onnx # 简化 ONNX 结构 mmdeploy convert caffe --work-dir ./output --cfg work_dir/deploy_cfg.py simplified_yolov8.onnx output.prototxt output.caffemodel ``` 注意:在此过程中可能遇到层不支持的情况,建议提前验证所使用的算子是否已被完全覆盖。 --- ##### 3. **Caffe 模型到 WK 模型的转换** 利用海思官方提供的 HiSVP 工具链,可将标准 Caffe 模型编译为目标硬件专用的工作流 (Workflow) 模型文件 (.wk)。 具体命令如下: ```bash hiconvertcaffe \ --prototxt=output.prototxt \ --caffemodel=output.caffemodel \ --om=model.wk \ --framework-version="ssd_v1" \ --input-shape="data:1,3,640,640" ``` 上述脚本指定了输入数据尺寸以及框架版本号等必要参数。 --- ##### 4. **模型加载与推理测试** 最后一步是在 Hi3519 平台上实际运行生成好的 `.wk` 文件。通常情况下会编写一段简单的应用程序接口(API),用于读取图片帧并通过调用 NNE 接口执行前向传播计算得出预测结果[^3]。 示例代码片段展示如何初始化环境并与预设函数交互: ```c #include <stdio.h> #include <stdlib.h> int main() { // 初始化资源管理器句柄 HI_S32 s32Ret; MV_HANDLE hModelHandle; s32Ret = MV_InitEnv(); if (s32Ret != HI_SUCCESS) { printf("Failed to init env.\n"); return -1; } // 打开指定路径下的 wk 模型 s32Ret = MV_LoadModel("./model.wk", &hModelHandle); if (s32Ret != HI_SUCCESS) { printf("Failed to load model.\n"); return -1; } // 准备输入缓冲区... float* pInputData = ... ; // 开始推断逻辑 MV_IN_DATA stInData; memset(&stInData, 0, sizeof(MV_IN_DATA)); stInData.pfDataBuf = pInputData; MV_OUT_DATA stOutData; s32Ret = MV_Forward(hModelHandle, &stInData, &stOutData); // 后续解析输出... // 清理释放内存空间 MV_UnloadModel(hModelHandle); MV_DeinitEnv(); return 0; } ``` 以上步骤构成了完整的迁移学习实践指南。 --- ####
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值