Littro Innovations

海思2024年又推出了一款超便宜的芯片平台hi3516cv610，价格直接控制到百元以内，集成度高。目前已经成功移植运行了yolov8算法，后面也会陆续更新。相关问题也欢迎私信或者留言交流。之前hi3516dv500/hi3519dv500芯片下好多朋友应该都已经移植成功算法了。后面如果不是特别忙的话坚持计划每周一篇速度来更新。

这里有个小注意的地方，新的ultralytics8.2版本最近更新的比较多，导出模型前最好看一下源码，虽然区别不大，改的时候对应自己用的版本改就可以。topK，low_score_thresh，num_thresh 这些参数后面都可以在程序里改，不用太在意。这里数据格式按照自己的图像输入格式而定，输入格式有特别多的格式，依据自己的程序来配置。我训练的模型是两个类的，这里面class_num和自己模型的类别数有关系。另外导出时选择Onnx12的版本，13，14的版本可能会有问题。导出后的模型结构是这样的。

图像分析引擎 2 与图像分析引擎 1 在支持的模型层上存在一些差异，特别是在量化小型化工具支持的层和一些特定功能上。

实际用的是4T算力的，里面是有两个NPU，一个叫SVP_NNN，一个叫NNN，用的方式还不一样，分别用SVP_ACL接口和ACL接口。我是没有时间去研究ACL，用的SVP_ACL的方式。今天抽空测试了一下3403跑yolov8的速度，源码还没改完，后处理还是先用CPU来跑了，这样速度会拖慢一点，先看看效果。有用过NNN的可以交流交流，感觉像是从昇腾里抠出来的一块塞进去的。并没有比hi3519dv500快多少，后处理部分花点时间改完再试试吧。纯用SVP_NNN，后处理CPU运行的速度结果如下。

RK3588有6T算力，而且ARM资源比现有小海思平台是要好很多的。更主要是最近有个项目刚交付了一批RK3588产品，做了图像匹配定位的内容。最近太忙更新不及时，SS928跑yolov8的文章各位朋友不要催，最近在测试自己魔改的yolov8，测完有结论了跟大家分享。魔改的yolov8在dv500系列里有些小问题，能正常运行，但是优化报错，在做更细致的测试。1）RK3588的一个NPU是2T算力，横向对比hi3516dv500的2T算力，相比要慢10ms左右。相比海思的单NPU是有明显优势的。

yolov9s.pt为例，pt模型大小为，有yolov9-s.pt 和 yolov9-s-converted.pt 两个模型，一个19M，一个14M，先不管这俩区别是什么了。同一张图拿到yolov8s里测试，我都不用最新的8.2版本ultralytics，用旧的8.0版本，阈值参数设置一样，conf = 0.25，iou = 0.45。现在总算是开源t,s模型，而且这里评估的结果上来看是好于yolov8的，那就测试看看到底怎么样。大小是37.1M，比yolov8s的onnx模型是要小 4M左右。

于是先测试了一下训练后的结果数据。就从同一组数据，同一组参数来说yolov10比yolov8并没有显著提升，反而是点降低。识别速度和延迟在电脑上的测试结果是确实要好的。yolov10先放一边，这次最最重要的事情是在SS928/SD3403上终于 ，终于跑通了yolov7和yolov8。足足等了两年，一直被我认为鸡肋的的3403终于是可以用上强大的ARM了。上一篇验证介绍了一下yolov10，yolov10的移植来说理论上是完全可行的，但是就创新侧重点来说去掉了NMS层，对于海思平台似乎没有那么大的吸引力。

YOLOv10 开源有几天了，看性能是比较强的，但是试过的一些人说没有YOLOv8好，实际效果以测试结果为准，这里创新点算是去掉了之前YOLO的NMS步骤，论文题目也说了NMS-Free，以此来提高小目标检测率，减少计算冗余，也没有NMS的计算时间提高实时性。：在检测小物体方面表现出了更好的性能，尤其是在使用较低置信度阈值时。：在各种物体检测任务中表现良好，但在处理小物体时可能会遇到困难，通常需要仔细调整置信度阈值。：更有效地优化参数使用，以更少的参数实现更高的性能。相比，模型不仅速度更快，而且更紧凑。

yolov8进行二次改进后进行了量化和速度测试 ，没有明显速度增加。对比一下模型的性能。分别用原始模型和改后的模型进行了100 epochs训练。量化过程中有一部分层会报错，对实际数据进行一个全面测试。差不多有3个百分点的提升，还是挺明显的。准备专门写一个统计用的程序。以下是原始模型的结果。

yolov8在hi3516dv500和hi3519dv500中已经完成了移植，yolov9的tiny和s版本目前没有开源，光看结果来看其实并没有多少提高。本篇开始写之前，已经测试了P2的引入，在测试结果上来看速度相比原始yolov8要慢一点，有个几毫秒的增加，总体时间没有明显变化。一个思路是增加P2，还有就是增加gold-yolo的部分层，以增加在不同尺度下的目标提取能力。后续打算在yolov8的官方模型基础上做小目标检测的改进后进行移植。后面陆续增加这部分的调试过程说明。yolov8增加p2。

上一节yolov8的训练已经完成了，现在要开始做模型的转换了，这里和yolov7方式相似，但是有一些差异，尤其是yolov7的不带NMS部分的输出顺序和yolov8的输出顺序与格式是有差异的。尾部链接了 我们自定义的DecBBox，Filter，Sort还有NMS。这里面filter和NMS的过滤条件不用管，在推理代码里还要重新配置一下，用这个默认配置就可以。我们一个一个看，首先filter.py里 要先增加个Filter的自定义层。这个部分和yolov7方式是完全一样的。下面是和yolov7的对比。

稍微等一等s,m两个模型。c模型这么大，在hi3519dv500和hi3516dv500里推理估计一秒帧率在10Hz不到。Yolov9还比较顺利，模型转换与增加DecBBox和后处理都已经加完，模型转换也成功。在GPU上训练和推理都比较快，后面等有新的小模型开源后再跟大家分享一下移植经验。这里用的模型是yolov9-c版本的，转换后模型有一百多兆，还是比较大。

SS928移植yolov8问题暂未解决，对比SVP NNN和NNN两个NPU核，SVP NNN是不支持transpose层，仅支持CPU里运行，去掉这个层认为不现实，NNN里倒是写的在onnx模型里支持transpose，应该是在NPU里运行。一种方式是转caffe模型，transpose对应的是permute，是支持的。对于 PGI 而言，它的适用性很强，可用于从轻型到大型的各种模型。可以用它来获取完整的信息，从而使从头开始训练的模型能够比使用大型数据集预训练的 SOTA 模型获得更好的结果。

Yolov3的转换里面最后加了一个叫DetectionOutput的RPN硬化层，当时没怎么研究就直接用了，文档里写的支持类别里只到Yolov3，之后的就没有了。之前的文章里已经移植了yolov3在SS928里，相对来说还是比较简单，毕竟是改了caffe模型来的，改起来也比较好操作。按照之前模型转换的方式，原始onnx模型转换是正常的，有朋友已经反馈跑起来了，虽然我还没跑起来，可能是好久没更新SDK了，版本比较旧。DecBBox，Filter，Sort，NMS都是支持的，而且都是在NPU里运行。

提供两个版本，一个是带有目标识别跟踪算法的版本，可以接入网络摄像头和云台，还有一个二次开发的版本，只带SDK或者SDK带上yolov8代码的版本。好多朋友在问SS928，也就是SD3403能不能移植Yolov8，Yolov7，因为这个芯片比较特殊，所谓的中性，有些项目不适合用，所以一直没有仔细去研究。同样也看了yolo-nas，gold-yolo之类的新的yolo模型，有的稍微改一下估计也能跑，就是工作量和提升效率能不能匹配的问题。CPU肯定是在目前海思系列里最好的，同样带来功耗，尺寸等问题。

hi3516dv500推理yolov8

继续讲onnx模型转换om模型的步骤。这一篇主要就是来讲如何正确的导出Om模型。这个导出方式和以前Ruyistudio导出模型方式特别类似。只是不在windows平台里，在linux里。相关Python安装和库安装之前已经讲过了，这里就不重复了。

异构计算架构CANN（Compute Architecture for Neural Networks）是华为针对AI场景推出的异构计算架构，向上支持多种AI框架，包括MindSpore、PyTorch、TensorFlow等，向下服务AI处理器与编程，发挥承上启下的关键作用，是提升昇腾AI处理器计算效率的关键平台。下面说，CANN，这个是对应到各个芯片硬件的深度学习支持的集合，芯片不一样支持的内容也不尽相同，版本必须要和芯片匹配，不同于MindStudio。配置好环境的虚拟机，需要获取的朋友可联系。

配置好环境的虚拟机可出售，需要可私信联系。SDK环境虚拟机模型转换虚拟机看到有朋友在问版本号的问题，这里增加一篇说一下使用的版本。首先MindStudio的版本不是越高越好，因为这个软件本身是帮助你转换模型的，并且支持的平台不一样，版本上是有差异的。MindStudio目前支持hi35**，SS928/926这些芯片外，还有昇腾系列芯片都是支持的，但是版本并不是一样的。MindStudio目前已经出到 6.0， 像新出的ATLAS200I A2就可以用6.0版本的MindStudio。

上一节yolov8的训练已经完成了，现在要开始做模型的转换了，这里和yolov7方式相似，但是有一些差异，尤其是yolov7的不带NMS部分的输出顺序和yolov8的输出顺序与格式是有差异的。尾部链接了 我们自定义的DecBBox，Filter，Sort还有NMS。这里面filter和NMS的过滤条件不用管，在推理代码里还要重新配置一下，用这个默认配置就可以。我们一个一个看，首先filter.py里 要先增加个Filter的自定义层。这个部分和yolov7方式是完全一样的。下面是和yolov7的对比。

目前为止yolov7算法在海思hi3519dv500.3516dv500下的移植已经说完了，后面开始讲 yolov8的移植。过程基本上是一样的，只是在训练和转换过程中会和yolov7有区别。本章先说一下训练的部分。

第一个和第二个值分别对应 阈值设置nms_threshold，IOU_score_threshold，具体值与模型本身有关，如果叠框明显就调高IOU值，如果误报很多就调高NMS值。初始化时还需要配置一下IOU与NMS的阈值，在模型导出时其实在代码里已经有默认值，但是在这里初始化过程中会更新对应的阈值，首先SDK里推理验证方式有两种，一个是用H264实时视频流的方式，还有一种是通过图片的方式。至此，yolov7的整个过程就OK了，下一篇我们讲讲如何使用yolov8的模型。首先在参数配置中选择对应的模型。

上一篇，我们讲到onnx模型的导出。模型导出之后要转换成om模型。这一篇主要就是来讲如何正确的导出Om模型。这个导出方式和以前Ruyistudio导出模型方式特别类似。只是不在windows平台里，在linux里。相关Python安装和库安装之前已经讲过了，这里就不重复了。

上一篇已经把Onnx模型导出来了，在Netron看到层都对了之后就要去转换om模型了。首先，强烈建议不要和训练的linux搞一起，很多库不一定一样。如果很熟练能来回切换Python版本和库的牛人另当别论。几个依赖库版本这里列一下，方便参考。我用的是Ubuntu18.04。都按下面指令安装就可以。然后就是python的安装，这个就比较简单了。我装的是python3.7，也可以装高版本，这个应该没什么影响。python是先从官网下载的对应版本包后手动安装的。

如果想要在电脑做GPU推理或者在Nvidia板卡里运行，建议是加上EfficientNMS，Nvidia本身支持这个层转TensorRT，包括在训练环境里做onnx模型的推理，其实也最好是加上。这里转换完之后都是默认带EfficientNMS层，用Netron看大概率会是两种可能情况，一种是不带EfficientNMS，一种是不带NMS，像下面这种。这里NMS和Filter有IOU阈值，筛选的，这个部分不用在源码里修改，后面可以在海思代码里直接更改。原始模型导出的方式也给了一个源码，在export.py。

经过调试后中终于在hi3519dv500和hi3516dv500两个平台中都实现的算法验证。同时可以做自己定制的算法模型的移植了，下面是两个移植案例效果。识别运行时间上做了对比和统计，具体的可以看下面的表格。总体来说速度还是比较快的，Yolo系列算法实时运行是几乎没有任何问题。训练到量化过程已经全部验证完，期待在项目中使用。涉及到技术细节的部分因为商业用途，有部分省略。如需相关技术服务项目合作可私信联系。

上一节主要在讲如何做数据处理和模型训练。简单验证了一下模型的量化导出。这一节来配置一下转换模型所需要的环境。

本篇是在海思嵌入式芯片中移植yolov7和yolov8的第二篇。做一个调试的小总结。目前手上有SS928还有Hi3516dv500两个板子，3519DV500板子还没开始调。Hi3519dv500和3516是同一套SDK，基本上是一样的，算力稍高一点，ARM主频高一点。我们主要对yolov7和yolov8进行了从训练到量化，部署的工作。训练之前要改一下训练源码，不然训练完也跑不起来。量化过程是先转Onnx模型，然后Onnx再用MindStudio转om模型。

海思SS928，SS926以及Hi3519dv500,hi3516dv500下的yolov7模型部署推理系列

我司推出的目标识别跟踪模块，支持热红外、可见光主流多光谱视频输入与目标识别跟踪等功能，支持人、车、船、飞机、无人机等目标的实时识别与多模式跟踪，跟踪过程中支持镜头自动变倍、伺服随动。支持整机产品的定制。如有需求请私信联系。=======================未经作者许可严禁转载===================================目前在3516DV500下，自己训练的模型的评估实测结果。涉及到技术细节的部分因为商业用途，有部分省略。如需相关技术服务项目合作可私信联系。

如何在SD3403、SS928V100移植Yolo模型

隔了好久来填坑，这次写一下怎么在板卡中部署模型。打个小广告： 海思hi3519av100开发板链接：https://item.taobao.com/item.htm?spm=a230r.1.14.117.4afe75a61WreAX&id=586610485052&ns=1&abbucket=1#detail 除了SDK与底板图纸之...

接着写未写完的部分，一直业务太忙，延期了两周才写这一篇。 本篇主要写一下模型量化后的仿真部分。海思在RS工具里提供了simulation方式对量化后的模型进行功能仿真（func sim）和指令仿真（inst sim），在板卡上跑之前就可以做模型的仿真，提前看到效果。主要目的认为是两个：1）模型识别功能的验证；2）模型识别阈值的调整。 打个小广告： 海思hi35...

HI3519AV100包含了深度学习的NNIE内核，算力为2TOPS，是目前同等算力下性价比最好的平台之一。公司产品已经可以实时运行YOLO V3，写这个系列的原因在于帮助我们开放平台下的开发者用户及公司新入职员工的使用培训，可以更快速的使用开发板进行模型的部署。 打个小广告： 海思hi3519av100开发板链接：https://item.taobao.c...