- 博客(226)
- 收藏
- 关注
RSS订阅
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（9）
上一节yolov8的训练已经完成了，现在要开始做模型的转换了，这里和yolov7方式相似，但是有一些差异，尤其是yolov7的不带NMS部分的输出顺序和yolov8的输出顺序与格式是有差异的。尾部链接了 我们自定义的DecBBox，Filter，Sort还有NMS。这里面filter和NMS的过滤条件不用管，在推理代码里还要重新配置一下，用这个默认配置就可以。我们一个一个看，首先filter.py里 要先增加个Filter的自定义层。这个部分和yolov7方式是完全一样的。下面是和yolov7的对比。
2024-01-16 09:10:45
1583
8
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（8）
目前为止yolov7算法在海思hi3519dv500.3516dv500下的移植已经说完了，后面开始讲 yolov8的移植。过程基本上是一样的，只是在训练和转换过程中会和yolov7有区别。本章先说一下训练的部分。
2024-01-10 15:34:41
2543
5
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（6）
上一篇，我们讲到onnx模型的导出。模型导出之后要转换成om模型。这一篇主要就是来讲如何正确的导出Om模型。这个导出方式和以前Ruyistudio导出模型方式特别类似。只是不在windows平台里，在linux里。相关Python安装和库安装之前已经讲过了，这里就不重复了。
2023-12-28 15:50:00
1630
3
原创 Tofu5m目标识别跟踪模块 跟踪模块
支持全自动跟踪、即点即跟踪、动目标检测跟踪、手动框选跟踪、波门跟踪等多种模式跟踪，并提供跟踪过程中的闭环云台与吊舱运动控制与自适应变倍功能。支持热红外视频、可见光视频、微光视频下的人、车、船等物体的深度学习识别，其他类型物体识别算法可定制，提供完整解决方案服务。自动跟踪模式下避免传统的框选的麻烦与波门跟踪中无法自适应目标大小的问题，精确识别到目标类型后自动筛选目标进行跟踪。在画面中存在多个识别到目标时可另外选择即点即跟踪模式，在画面上点击要跟踪的目标，模块会锁定该目标进行跟踪。
2023-12-25 13:08:07
1254
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（5）
上一篇已经把Onnx模型导出来了，在Netron看到层都对了之后就要去转换om模型了。首先，强烈建议不要和训练的linux搞一起，很多库不一定一样。如果很熟练能来回切换Python版本和库的牛人另当别论。几个依赖库版本这里列一下，方便参考。我用的是Ubuntu18.04。都按下面指令安装就可以。然后就是python的安装，这个就比较简单了。我装的是python3.7，也可以装高版本，这个应该没什么影响。python是先从官网下载的对应版本包后手动安装的。
2023-12-20 18:03:33
2390
6
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（4）
如果想要在电脑做GPU推理或者在Nvidia板卡里运行，建议是加上EfficientNMS，Nvidia本身支持这个层转TensorRT，包括在训练环境里做onnx模型的推理，其实也最好是加上。这里转换完之后都是默认带EfficientNMS层，用Netron看大概率会是两种可能情况，一种是不带EfficientNMS，一种是不带NMS，像下面这种。这里NMS和Filter有IOU阈值，筛选的，这个部分不用在源码里修改，后面可以在海思代码里直接更改。原始模型导出的方式也给了一个源码，在export.py。
2023-12-20 16:49:54
1838
6
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（3）
经过调试后中终于在hi3519dv500和hi3516dv500两个平台中都实现的算法验证。同时可以做自己定制的算法模型的移植了，下面是两个移植案例效果。识别运行时间上做了对比和统计，具体的可以看下面的表格。总体来说速度还是比较快的，Yolo系列算法实时运行是几乎没有任何问题。训练到量化过程已经全部验证完，期待在项目中使用。涉及到技术细节的部分因为商业用途，有部分省略。如需相关技术服务项目合作可私信联系。
2023-12-19 16:02:21
1747
5
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（2）
本篇是在海思嵌入式芯片中移植yolov7和yolov8的第二篇。做一个调试的小总结。目前手上有SS928还有Hi3516dv500两个板子，3519DV500板子还没开始调。Hi3519dv500和3516是同一套SDK，基本上是一样的，算力稍高一点，ARM主频高一点。我们主要对yolov7和yolov8进行了从训练到量化，部署的工作。训练之前要改一下训练源码，不然训练完也跑不起来。量化过程是先转Onnx模型，然后Onnx再用MindStudio转om模型。
2023-11-29 14:41:31
1878
9
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（1）
海思SS928，SS926以及Hi3519dv500,hi3516dv500下的yolov7模型部署推理系列
2023-09-26 11:08:06
2214
3
原创 如何使用Tofu进行光电产品目标识别跟踪功能升级
Tofu产品系列是利卓公司推出的目标识别跟踪应用的光电产品与AI升级用系列产品。今天介绍的是其中一个专门为光电产品升级自主目标识别跟踪应用的Tofu3产品。Tofu3可以快速集成到光电云台相机中，提供从目标识别到跟踪的完整解决方案。Tofu3目前支持热红外、可见光视频的输入，直接控制变焦镜头与云台，在目标识别后自主进行光机电联动，达到全过程跟踪的效果。典型的云台相机中连接关系如图。 输入方式上，热红外输入抛弃了传统的模拟视频输入方式，采用BT.656数字视...
2021-08-13 09:21:10
534
4
原创 热红外目标识别与跟踪
凡是温度比绝对零度高的物体均对外有热红外辐射，不管晚上还是白天都可以在没有自然光补光的情况下对物体进行观测。另一方面，热红外波段下的辐射强度同时也反映者物体的发热程度。因此，热红外成像在夜视观测与测温领域中发挥着重要作用。在疫情期间，热红外测温特性也被很好地利用，用于人体温度测量中。 本文章中主要介绍热红外目标识别与跟踪相关的内容。 热红外目前主流的分辨率有384×288与640×512两种分辨率，不同于可见光高清、4K等大分辨率，热红外因成本与工艺问题，还停留在低分辨率阶段。我们通常...
2021-03-15 20:40:31
4688
原创 如何在海思 Hi3519AV100上移植YOLOV3 （3)
隔了好久来填坑，这次写一下怎么在板卡中部署模型。打个小广告： 海思hi3519av100开发板链接：https://item.taobao.com/item.htm?spm=a230r.1.14.117.4afe75a61WreAX&id=586610485052&ns=1&abbucket=1#detail 除了SDK与底板图纸之...
2019-09-16 17:20:06
5025
11
原创 如何在海思 Hi3519AV100上移植YOLOV3 （2）
接着写未写完的部分，一直业务太忙，延期了两周才写这一篇。 本篇主要写一下模型量化后的仿真部分。海思在RS工具里提供了simulation方式对量化后的模型进行功能仿真（func sim）和指令仿真（inst sim），在板卡上跑之前就可以做模型的仿真，提前看到效果。主要目的认为是两个：1）模型识别功能的验证；2）模型识别阈值的调整。 打个小广告： 海思hi35...
2019-07-08 18:24:52
3644
9
原创 如何在海思 Hi3519AV100上移植YOLOV3 （1）
HI3519AV100包含了深度学习的NNIE内核，算力为2TOPS，是目前同等算力下性价比最好的平台之一。公司产品已经可以实时运行YOLO V3，写这个系列的原因在于帮助我们开放平台下的开发者用户及公司新入职员工的使用培训，可以更快速的使用开发板进行模型的部署。 打个小广告： 海思hi3519av100开发板链接：https://item.taobao.c...
2019-06-19 12:10:27
11428
19
原创 利卓创新- 超小型深度学习平台
Littro MicroBox超小型端上深度学习识别模组 概述 简介 Littro MicroBox支持端上人工智能识别，同时可推送识别后的视频流，并实时显示结果，MicroBox支持多种物体在线式识别算法，包括行人、车辆以及特殊指定物体类型，支持红外、可见光多个波段的多种分辨率与帧频的视频输入、接口上满足多类型输入以满足不同用户的需求。产品中同时支持视频编解码、视频压...
2019-01-12 18:39:13
4226
原创 hi3516cv610芯片yolov8算法移植（1）开篇
海思2024年又推出了一款超便宜的芯片平台hi3516cv610，价格直接控制到百元以内，集成度高。目前已经成功移植运行了yolov8算法，后面也会陆续更新。相关问题也欢迎私信或者留言交流。之前hi3516dv500/hi3519dv500芯片下好多朋友应该都已经移植成功算法了。后面如果不是特别忙的话坚持计划每周一篇速度来更新。
2025-02-25 11:22:14
327
原创 热红外低小慢目标数据集开源！
热红外低小慢目标数据集数据由我司利卓创新 Tofu Intelligence开源提供，本数据仅用于科学研究，不得进行任何形式的二次销售或转包。若在论文研究中引用，请注明来源。
2024-12-25 13:34:47
282
原创 fiftyone初步使用
数据快速可视化显示方式来说fiftyone是用过的里面最好用的了。另外也提供了COCO，OpenImage数据库的分类下载功能。
2024-11-22 13:34:49
155
原创 无人机侦察打击方案（4）
光电云台中通过伺服角度、跟踪画面中的位置、激光测距等信息换算出无人机目标方位角。通过RS422/网络接口实时推送个激光打击组合。光电云台与激光打击组合安装于同一个结构工装，保持安装平面一致，对光学系统进行统一标定。标定参数包含，镜头焦距、相对位置、伺服角度、距离误差等。
2024-11-22 13:25:48
370
原创 无人机侦察打击方案（3）
此按钮激活后目标识别功能自动同步激活，目标识别类型与目标识别功能中配置的参数相同。分别支持人、车、船、飞机等目标识别，模型不一样支持的目标类型也存在差异，常规模型只支持人、车识别。激活，此功能下目标识别到跟踪将全自主完成，在识别到多目标的情况下优先选离中心点近的目标跟踪。如上图所示，界面左上为算法与配置区域，包含了多种图像算法功能，右下区域为常规光电控制与视频操作区域。包含目标识别、手动框选跟踪、区域动目标检测、识别点击跟踪、自动识别转跟踪、波门跟踪、设置等功能。，激活后可在画面中绘制方形检测区域。
2024-11-19 15:01:45
416
原创 无人机侦察打击方案（2）
在全自主模式下识别跟踪模块在视频中搜索可疑目标，发现目标后对目标进行锁定，进行二次放大连续识别确认目标的真伪，确认为真实目标后随即开始联动跟踪，过程中将目标类型、坐标、云台状态通过数据接口发送至操控端。支持全自动跟踪、即点即跟踪、动目标检测跟踪、手动框选跟踪、波门跟踪等多种模式跟踪，并提供跟踪过程中的闭环伺服与云台运动控制与自适应变倍功能。识别跟踪模块接收云台视频后实现目标的检测、识别、跟踪功能，同时在跟踪过程中联动云台伺服、镜头，锁定目标，输出视频中叠加目标信息。识别跟踪模块实物如下图所示。
2024-11-19 14:52:53
811
原创 无人机侦察打击方案（1）
伺服采用两轴稳像控制方式，包含了水平电机、俯仰电机，可实现两个自由度的转动控制，从而完成360°无死角旋转，可自由获取无拘束的全方位视野。BIT4、BIT3、BIT2、BIT1分别控制下，上，左，右移动（1有效）；*1.指令码 1：BIT7，BIT6，BIT5， BIT3 位始终为0： BIT4为自动扫描功能控制位(1/0：打开/关闭该功能)， BIT2 光圈缩小(1有效)；云台采用航空铝合金精密加工而成，强度高、具有良好的吸振、抗雨、防尘、抗腐蚀能力，能够适应恶劣的野外工作环境。
2024-11-19 14:47:56
849
1
原创 Tofu3 Object Detect and Track Module
Tofu3 is a product which can support thermal and visual light video input and edge calculation, and can be applied to intelligent day and night monitoring scene. The product also supports artificial intelligence based objects detecting and tracking algorit
2024-11-18 19:00:57
287
原创 Tofu船舶识别跟踪
可见光与热成像同时支持船只、人员、车辆、无人机、飞机、鸟类等目标物的识别及视频自动跟踪功能，转台采用无级变速跟踪，跟踪平滑不卡顿，同时支持。支持船只、人员、车辆、无人机、鸟类等模型在不同场景下训练识别及视频自动跟踪功能，支持全景拼接成像功能。支持船只、人员、车辆、无人机、鸟类等模型在不同场景下训练识别及视频自动跟踪功能，支持全景拼接成像功能。穿越围栏、绊线入侵、区域入侵、物品遗留、快速移动、停车检测、人员聚集、物品搬移、徘徊检测。预留6组串口通信，可叠加GPS、北斗、测距、温度湿度等传感器。
2024-11-18 18:57:35
1389
原创 Tofu识别跟踪变焦镜头控制接口与协议
接口为TTL（3.3V），波特率为9600bps;通信协议采用VISCA，典型通信协议见下表。x 默认1;y 默认98x 01 04 07 02 FF （变倍+）8x 01 04 07 03 FF （变倍-）8x 01 04 07 2p FF （变倍+）8x 01 04 07 3p FF （变倍-）T/W 操作；p=0 (Low) to 7 (High)，代表变焦速度自动变焦与手动变焦下p,q均为18x 01 04 06 02 FF （开）8x 01 04 06 03 FF （关）
2024-11-14 12:58:35
790
原创 Tofu外设设备接口与协议
1）TTL/RS485均使用9600波特率，云台默认ID号为01；网络视频，BT656，Cameralink（非标）Cameralink（定制），SDI（定制）2）RTSP视频输入均为H.264压缩格式。网络视频，BT.656/1120，非标ExPelco-D高精度。：需接口转换板或有协议约束。
2024-11-14 12:57:22
161
原创 Tofu识别跟踪产品输入BT1120视频接口与时序要求
列方向上4-275为消隐列，0-3为视 频结束基准码EAV，276-279为视频开始基准码SAV，280-2199即最后1920列 为有效列。在有效行上，EAV对应FFFF、0000、9D9D， SAV对应FFFF、0000、8080，消隐列对应8010，有效列对应有效数据。采用1080P@30Hz 标准BT1120格式，时钟频率74.25MHz，帧频30Hz，每行像素点个数2200，共 1125行，即2200×1125×30Hz=74.25MHz。，尺寸为45x45mm或38x38mm。
2024-11-13 14:59:19
648
原创 Tofu3识别跟踪器热红外数字视频接口
BT.656 逐行协议，图像帧频 25Hz，满足如下具体协议：逐行（625-line，有效总行列大小 720×576），数据位宽 8 位， YCbCr=4:2:2 ，驱动 YCbCr 时钟大小 27MHz，其中 line1-line49 为 无效行数据，line50-line625 为有效行数据（逐行输出），在有效行数据中，640×512 图像拉伸到720×576。CameraLink接口输入时序为非标协议，采用BT.656 逐行协议，图像帧频 25Hz，需完全满足与图1所示一致的接口时序要求。
2024-11-13 14:58:02
973
原创 Tofu AI视频处理模块视频输入配置方法
如果视频是绿幕或蓝幕，代表没有配置视频输入，首先要配置一下模块IP与相机IP是同一个网段。点击“参数设置”，输入IP后点击“更新”，重复步骤1，2 添加更新IP后的设备。其中admin与12345678是对应用户名与密码，192.168.1.87 为网络相机IP地址，请对应修改。不同相机的RTSP视频拉流地址格式会有区别，此地址格式进作为参考，请与网络相机厂家确认，3）搜索到相机IP地址，务必确认是相机IP，不是AI模块IP，点击激活画面，点击“参数设置”，输入“拉流地址”，点击“更新”。
2024-11-12 14:31:55
609
原创 TofuAI处理BT1120时序视频要求
列方向上4-275为消隐列，0-3为视 频结束基准码EAV，276-279为视频开始基准码SAV，280-2199即最后1920列 为有效列。在有效行上，EAV对应FFFF、0000、9D9D， SAV对应FFFF、0000、8080，消隐列对应8010，有效列对应有效数据。采用1080P@30Hz 标准BT1120格式，时钟频率74.25MHz，帧频30Hz，每行像素点个数2200，共 1125行，即2200×1125×30Hz=74.25MHz。，尺寸为45x45mm或38x38mm。
2024-11-12 14:29:00
1092
原创 Cameralink转MIPI，Cameralink视频识别分析
CameraLink视频输入转MIPI极简方案，可直接输入到处理芯片中进行视频目标识别与跟踪。
2024-11-11 13:55:56
669
原创 Tofu识别跟踪产品视频输入接口汇总
目前仅Tofu3支持1440P格式的400万像素视频，可通过升级包支持，400万像素分辨率目前仅支持2560×1440。Cameralink视频输入应满足BT.656或BT.1120时序，增加一块接口转换板，转换板与详细时序要求详见。视频输入默认支持网络RTSP协议视频，分辨率支持480P，720P，1080P，1440P等格式。Tofu5系列支持MIPI视频输入，分辨率最高支持800万像素，帧率可到60Hz，详情请电询。SDI视频输入需要额外增加一块第三方接口转换板，将SDI视频转换为MIPI接口。
2024-11-11 13:53:02
1191
原创 Tofu目标识别跟踪产品视频与外设接口汇总
1）TTL/RS485均使用9600波特率，云台默认ID号为01；网络视频，BT656，Cameralink（非标）Cameralink（定制），SDI（定制）2）RTSP视频输入均为H.264压缩格式。网络视频，BT.656/1120，非标ExPelco-D高精度。：需接口转换板或有协议约束。
2024-11-11 13:51:41
332
原创 XFeat快速图像特征匹配算法
XFeat在速度上超越了当前基于深度学习的局部特征模型（速度提高了5倍），具有相当或更好的准确性，并在姿势估计和视觉定位方面得到了验证10。：与典型方法不同，XFeat将关键点检测分离成一个独立的分支，使用1×1的卷积在一个8×8的张量块变换图像上进行快速处理。：XFeat设计了一种新颖的轻量级CNN架构，可以部署在资源受限的平台，无需特定硬件优化即可实现高吞吐量或计算效率。：XFeat在限制网络中通道数量的同时保持尽可能大的图像分辨率，以满足准确图像匹配的需求。
2024-07-03 15:40:41
956
2
原创 海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（24）SS928/SD3403推理yolov8 - om量化
这里有个小注意的地方，新的ultralytics8.2版本最近更新的比较多，导出模型前最好看一下源码，虽然区别不大，改的时候对应自己用的版本改就可以。topK，low_score_thresh，num_thresh 这些参数后面都可以在程序里改，不用太在意。这里数据格式按照自己的图像输入格式而定，输入格式有特别多的格式，依据自己的程序来配置。我训练的模型是两个类的，这里面class_num和自己模型的类别数有关系。另外导出时选择Onnx12的版本，13，14的版本可能会有问题。导出后的模型结构是这样的。
2024-07-03 15:35:07
848
原创 OpenVINO简介
OpenVINO（Open Visual Inference and Neural Network Optimization）是由Intel开发的一款用于优化和部署深度学习模型的开源工具包。它主要针对视觉、音频等应用领域，提供了深度学习推理的加速。OpenVINO工具包支持从云端到边缘设备的深度学习模型优化，能够跨多种硬件平台加速推理过程，包括CPU、GPU、FPGA、AI加速器等。
2024-06-20 18:01:36
1404
SD3403运行caffe模型样例
2023-06-02
Python数据增强源码
2022-12-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人