如何在海思 Hi3519AV100上移植YOLOV3 (1)

本文介绍了如何在海思Hi3519AV100平台上进行YOLOV3模型的移植,包括环境配置所需的软件如CUDA、CuDNN等,以及模型导入、mapper工具使用和仿真验证的步骤。通过详细讲解配置文件的设置,指导开发者完成模型转换为*.wk文件。

配置好环境的虚拟机可出售,需要可私信联系。

SD3403/SS928/926  SDK环境虚拟机160G 移动硬盘,可直接拷贝到本地VMware直接打开
SD3403/SS928/926 模型转换虚拟机160G 移动硬盘,可直接拷贝到本地VMware直接打开

Hi3516dv500/Hi3519DV500 

SDK环境虚拟机

160G 移动硬盘,可直接拷贝到本地VMware直接打开

Hi3516dv500/Hi3519DV500 

模型转换虚拟机

160G 移动硬盘,可直接拷贝到本地VMware直接打开

   

     

HI3519AV100包含了深度学习的NNIE内核,算力为2TOPS,是目前同等算力下性价比最好的平台之一。公司产品已经可以实时运行YOLO V3,写这个系列的原因在于帮助我们开放平台下的开发者用户及公司新入职员工的使用培训,可以更快速的使用开发板进行模型的部署。

   打个小广告:

        海思hi3519av100开发板链接:

https://item.taobao.com/item.htm?spm=a230r.1.14.117.4afe75a61WreAX&id=586610485052&ns=1&abbucket=1#detail

    除了SDK与底板图纸之外我们提供了EMMC文件配置和摄像头采集到RFCN深度神经网络的物体识别和HDMI显示的完整代码,帮助开发者快速部署模型。

      

    此篇为开篇,主要介绍都需要哪些关联的软件需要安装,环境怎么去搭建。

    首先说明的是海思的文档中其实写的特别特别详细,大家可以去看详细的文档,我们重新写这个的目的是减少时间,只把关键的几个点写出来,如果怕安装出问题,可以阅读海思的详细文档。

海思相关的文档在 ..\Hi3519A V100R001C02SPC010\ReleaseDoc\zh\01.software\board\SVP 中的 “HiSVP 开发指南.pdf”。

    Hi3519A目前支持的深度学习框架只有caffe,那两个文件是必不可少的:训练完成后 *.caffemodel,*.prototxt是必须要有的。

    海思提供了一个mapper工具和一个simulation工具可以对模型进行量化和仿真。这两个工具都在海思提供的 RuyiStudio中,所以后面使用的软件就是RuyiStudio,以下简称RS。

RS是不需要安装的,直接解压就可以用,但是需要提前装好很多配置环境。

提前需要装的部分如下:

1. CUDA

2. CuDnn

3. OpenCV

4. wget

5. MinGW-w64

6. Msys

7. Python3.5

8. Caffe

9. VisualStudio2015

此部分软件为了方便使用我们会整理后上传到百度网盘。到时连接会贴到此博文中。

另外一点是如果不想出错就完全按照海思要求安装版本。

环境配置的过程后面有时间的时候会补充进来,着急用的朋友就看海思的文档吧。

----  YOLO V3移植-----

模型移植之前我们首先要做几件事情,

1)首先得有自己的模型或者用官方提供的模型也可以;

2)模型导入到RS中,做模型的mapper,生成 *.wk文件;

3)做mapper后的模型文件的仿真验证;

4)部署到板卡中运行。

一般在SVP中已经有YOLO V3的demo,至少我们提供的板卡上是有这个文件的。

直接在RS中打开工程文件,SDK中的路径为

..\Hi3519A V100R001C02SPC010\SVP_PC\HiSVP_PC_V1.2.0.5\software\sample_runtime

工程名称为.cproject .project

快速上手:

1)工程文件中首先找到*.cfg文件,在 sample_runtime\data\detection\yolov3 中,

此文件用来配置caffemodel转 *.wk 文件前的基本配置。

查看方式:右键—open with—mapper configuration editor

三个部分组成:

1) Input Setting: 

    Caffemodel:  ./../data/detection/yolov3/model/yolov3.caffemodel   训练好的模型

    Marked_prototxt:  ./../data/detection/yolov3/model/yolov3.prototxt   mapper验证过的模型,海思会验证网络层是否满足转化要求,定义了几个可转化的网络层,自定义的层需要自己转,这部分后面会专门写一章来说明。

   在上面按钮中点击“Mark”可以调出网络可视化窗口。

   Output_wk_name:  ./../data/detection/yolov3/inst/****    输出 *.wk 文件的路径

2) mapper setting

       mapper过程需要的配置参数: 这里列出来对应到说明文档中的页数,详细介绍可以查看说明材料。

       Compile_mode: p123  高精度、低带宽、自定义

       Log_level: p125

       Align_bytes(align_size):p143  

       Batch_num:p123  

       Sparse_rate:p123  模型稀疏率

3)data

      定义了模型量化过程中的参考图片等内容。其中一个比较重要的是输入图片格式和RGB颜色方式一定要选对,不然模型出来后板卡上跑不出来或识别效果特别差。

       Image_type: p122  输入图片类型

      RGB_order:p125  RGB色彩方式

       Image_list: p121   ../data/detection/yolov3/image_***_list.txt

      Norm_type: p122

      Mean_file: p123

配置好cfg后就可以点击 make WK按钮就可以生成 *.wk文件了。

底部状态栏里会显示出模型生成成功的信息。

此篇讲到的模型mapper的过程,会增加一些细节性的说明和截图进行补充,再把关联的安装文件上传到云盘供下载。

下一篇会写如何在RS中进行模型功能仿真。

本课程讲解sensor直接采集的图像都有各种不理想性,因此在编码前都会经过一个软件方式处理,这个处理就叫ISP,图像的IQ调试就是研究这些处理算法和实现的。常见的IQ调试技术如:线性纠正、噪声去除、黑电平校正、坏点去除、颜色插补、Gamma 校正、RGB2YUV 转换、主动白平衡处理、主动曝光控制、AE评估等。随着通信行业发展,网速越来越快,网络也从文本时代发展越过语音时代到了现在视频时代,“优酷、爱奇艺”、“微视频”、“直播”等的出现也是视频逐步成为主流媒体的证据和表现。航拍、视频监控、刷脸过关检测、汽车ADAS系统等应用也是视频在主流行业中的应用,因此视频的采集、编解码、传输、识别等技术变得越来越有价值,涌现出了“海康威视”、“大华股份”、“深圳英飞拓”等一批明星企业,名扬海内外,动辄市值几百亿。同时在芯片级,国产华为海思HI35xx系列视频编解码方案也逐步取代进口芯片(如TI、安霸)成为主流方案。视频行业技术含量高、难度大、学习周期长、发展变化快而资料少,因此行业比较缺人、工资较高。如海康威视,普通高校硕士研究生应届进入年薪普遍高于15-20万,在嵌入式linux领域也算高工资技术方向了。本项目是朱老师及其团队推出的一个嵌入式linux领域重量级企业级实战项目,选用华为海思HI3518E方案,结合OV9712/AR0130 Sensor实现图像采集和H.264编码压缩,并通过ethernet和WIFI,以socket实时流和RTSP等方式,实现720P/960P高清视频传输。本项目共分11季,从海思SDK开发环境搭建,到sample程序讲解、SDK中API函数解析,到H.264编解码、RTSP流媒体传输、MP4文件打包,到图像IQ调试、图像识别等视频领域高阶内容,可以说从零基础入手,对图像采集、编解码、网络传输、图像存储和识别做了全方位的详细讲解和代码分析,是目前市面上**一套系统讲解图像和视频技术的视频课程。
评论 19
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Tofu Intelligence

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值