- 博客(31)
- 收藏
- 关注
原创 清华YOLOE在RDK X5上的部署, 可实例分割超四千种目标!
YOLOE(实时看见一切)是零样本、可提示的 YOLO 模型的一项新进展,专为开放词汇检测和分割设计。与以往只能局限于固定类别的 YOLO 模型不同,YOLOE 使用文本、图像或内部词汇提示,能够实现实时检测任何对象类别。YOLOE 基于 YOLOv10 构建,并受到 YOLO-World 的启发,在几乎不影响速度和精度的情况下实现了最先进的零样本性能。清华的论文: https://arxiv.org/pdf/2503.07465v1。
2025-03-31 16:06:27
767
原创 YOLO12在RDK X5上的部署,体验纯视觉Transformer的YOLO目标检测!
YOLOv12构建以注意力为核心的YOLO框架,通过创新方法和架构改进,打破CNN模型在YOLO系列中的主导地位,实现具有快速推理速度和更高检测精度的实时目标检测。
2025-02-20 02:55:03
1471
原创 RDK X5运行DeepSeek-R1-Distill-Qwen-1.5B,体验长思维链的语言大模型
本文介绍了在RDK X5上,如何从HuggingFace的原始模型权重(safetensors)经过量化和编译,的到llama.cpp推理框架所需要的GGUF格式的模型,然后演示了如何使用llama.cpp运行量化后的DeepSeek-R1-Distill-Qwen-1.5B模型。所有操作均可在RDK X5板卡上运行,同时,本文也放了一份量化好的模型也放在了百度网盘。链接: https://pan.baidu.com/s/16ltA-6nzLA5FzkSbOvdTcQ?
2025-01-29 16:59:59
2394
8
原创 利用GPU的OpenCL和MLC-LLM框架运行语言模型-地瓜RDK X5开发板-非量产算法仅供整活
百分之零的BPU占用,几乎百分之零的CPU占用,将主要计算资源保留给主要算法。采用int4量化,内存和带宽占用理论上int8量化的一半,空余内存4.1GB。采用GPU作为计算部件,摸着通用计算的尾巴。理论上,可以使用X5的这颗支持OpenCL的GPU运行HuggingFace上面的任何模型。所有涉及的代码仓库或者模型权重均为Apache 2.0协议开源。
2024-10-12 21:56:03
2159
原创 YOLOv11,地瓜RDK X5开发板,TROS端到端140FPS
一句话讲明白:RDK X5的BPU完全支持YOLOv11引入的TransFormer结构,同时后处理直接复用YOLOv8,保持5ms的快速水平。
2024-09-30 21:01:09
3397
4
原创 YOLOv8目标检测算法在地平线Bernoulli2架构BPU上高效部署参考(PTQ方案)——RDK X3(旭日X3派)30fps
本文在地平线对YOLOv8s的Backbone修改的基础上,提出一种在地平线Bernoulli2架构BPU上部署YOLOv8的后处理思路。使用640×640分辨率,80类别基于COCO数据集的预训练权重,让BPU加速Backbone的Neck的部分,推理时间约62ms,使用numpy优化的后处理部分,约8ms。并使用高效的Dataflow,充分利用X3的计算资源,Python多进程推理+Web推流的方式完成了一个30fps的实时目标检测demo。本文所有程序均开源。
2024-06-18 18:35:28
3504
3
原创 如何备份RDK X3(旭日X3派)的 SD卡镜像
该方法可以在Ubuntu的开发机上生成一个img镜像,后续可以直接使用rufus软件烧录备份好的镜像。
2024-05-31 11:16:24
592
原创 RDK X3(旭日X3派)在Ubuntu20.04 ROS2 Foxy手动编译新版TROS YOLOv5s包
在RDK X3 的20.04系统镜像中, 运行的TROS是基于ROS2 Foxy Server版编译的, 其中672 × 672 分辨率, 80类别的YOLOv5s模型, 推理节点后处理约65ms, 约25fps. 参考TROS手册:最近在RDK X3的22.04系统镜像中, 基于ROS2 Humble Server的新版TROS对YOLOv5s的推理节点后处理又优化了一版, 只需要50ms, 不仅仅减少了单帧延迟, 还将80类别模型的分辨率提高到了30fps.
2024-05-31 11:13:40
995
原创 TROS DataFlow - USB Camera & mipi Sensor - rtsp
使用TROS的功能,通过USB或者mipi摄像头得到MJPEG数据,推理YOLOv5节点,得到目标检测结果,通过ros_rtsp将nv12数据变成标准的H264/H265码流推出。
2024-05-30 18:34:35
789
原创 RDK X3, RDK Ultra板端hrt_tools最新版临时下载
在使用XJ3和J5的算法工具链的性能实机测试时,需要在板端安装和两个工具,目前RDK X3, RDK X3 Module的OE最新版本为2.6.4,RDK Ultra使用J5的OE,版本为1.1.68.按照OE的方法安装比较麻烦,需要ssh远程安装,但是详细看安装脚本也只是scp了文件到指定目录,所以这里直接放到社区给大家wget,使用起来更方便。百度网盘链接:https://pan.baidu.com/s/1W-HBPH0_trXx7MVOUxqkFg?pwd=09a8提取码:09a8。
2024-05-30 18:32:37
327
原创 YOLOv5s的demo中如何使用USB摄像头开启1080p高清Web推流,Node级别拆分编写自己的launch
TROS跑YOLOv5: https://developer.horizon.cc/documents_tros/boxs/detection/yolo。/opt/tros/share/dnn_node_example/launch/dnn_node_example.launch.py, 79-89行。/opt/tros/share/dnn_node_example/launch/dnn_node_example.launch.py, 79-89行。运行一小会, 打印一些帧率信息后, Ctrl+C结束。
2024-05-29 20:21:37
773
原创 地平线OE配套下载的GPU/CPU的Docker镜像.tar.gz如何使用?
RDK X3, RDK X3 Module使用XJ3的:https://developer.horizon.cc/forumDetail/136488103547258769。RDK Ultra使用J5的:https://developer.horizon.cc/forumDetail/118363912788935318。看着改,挂载的文件目录也看着改。网络上教程非常多,装上即可。并使用docker加载。
2024-05-29 20:20:55
518
原创 RDK X3(旭日X3派) qt.qpa.xcb: could not connect to display
这时候我们再去ssh终端中运行一个带有imshow的OpenCV程序,就可以成功运行了,窗口会显示在xfce桌面上,可以通过VNC去看。而桌面环境登录的用户是sunrise,所以ssh登录也登录到sunrise。RDK X3系统镜像有两个用户:一个sunrise,一个root。step2:设置允许别的用户启动窗体程序。step1:ssh登陆到X3。
2024-05-28 23:37:13
513
原创 测试 RDK X3 Module 的SD卡和eMMc的1GB文件顺序读写速度
注意:仅仅代表作者手上2张SD卡的速度,eMMc为32GB. 测试结果可能存在不严谨之处,仅供参考。进入eMMc的系统,同时插入SD卡,将SD卡挂载后,分别测试1GB文件连续写入的速度.mmcblk0是eMMc, mmcblk2是SD Card。
2024-05-28 23:29:07
413
原创 清华大学YOLOv10公版目标检测算法在地平线Bayes架构神经网络加速单元BPU上部署参考—— 以RDK Ultra为例
YOLOv10的厉害之处: 干掉了nms过程,变成nms-free. 也就是说对8400个bbox,每个bbox的80类别,阈值筛选完了就是最终的结果了,不用nms过程再去干掉重复识别的目标了。
2024-05-27 01:59:46
3714
1
原创 关于RDK X3(旭日X3派)的VPS不能输出300x300照片的临时解决办法参考
因为300不是32的整数,所以向上取整到320,可以通过后期裁剪来去掉绿色区域。暂时的解决方法是利用numpy的接口对获得的nv12图像进行裁剪,将 300 x 320 的nv12图像裁剪为300 x 300 的nv12图像,大约有 2.4ms 的时间开销。
2024-03-25 10:26:09
597
原创 RDK X3 (旭日X3派) & Module 自带的源改乱了怎么改回来
系统镜像版本:2.0.0 稳定版(release), 2.1.0 稳定版(release)
2024-03-25 10:23:49
439
1
原创 通过设备树修改BPU保留内存大小[ion_cam size] (X3, X3 Module)
此教程使用2.0.0以上系统镜像, 在RDK X3 硬件1.0板卡, 硬件2.0板卡, RDK X3 Module(SD卡), RDK X3 Module(eMMc)均测试通过.主要是方便大家在X3上运行端侧的语言大模型llm。
2024-03-23 22:39:43
1158
2
原创 如何备份RDK X3(旭日X3派)的 SD卡镜像
该方法可以在Ubuntu的开发机上生成一个img镜像,后续可以直接使用rufus软件烧录备份好的镜像。
2024-03-23 22:37:11
776
原创 RDK X3 (旭日X3派) 使用TROS快速部署YOLOv5刷爆 30 fps !
本文使用TROS.B的手册提供的方法部署YOLOv5s tag2.0的模型,在1080p分辨率输入,672*672输入,3类别达到30fps。得益于ROS2话题通讯的特性,推理部分是官方使用C++写的,而我们只需要简单的替换模型文件,写一个简单的Python订阅者节点,即可快速的将TROS的推理结果嵌入到自己的代码中。
2024-03-22 10:33:18
5639
3
原创 RDK X3 (旭日X3派) 桌面2.1.0(Desktop)系统屏幕不适配如何调整?稳定版(release)
部分开发者反映自己在2.0.0的系统可以正常使用的显示器在2.1.0的系统不能使用,这里可能是分辨率问题导致的,分辨率是根据握手信号自动设置的,不过有些显示器的信号传递有问题,就会读取不到,这种一般需要通过vnc在桌面上配置一下显示分辨率,之后启动就会使用配置的分辨率进行显示。
2024-03-21 20:32:42
1404
原创 RDK Ultra自带的源改乱了怎么改回来
RDK Ultra介绍: https://developer.horizon.cc/rdkultra。系统镜像版本:1.0.1 稳定版(release)
2024-03-20 19:04:52
315
原创 RDK X3 (旭日X3派)如何区别1.0和2.0的硬件板卡?
注意:最新的2.1.0(release)系统均可烧录在1.0和2.0的板卡上,1.x.x的系统只能烧录在1.0的板卡上。
2024-03-20 19:02:44
817
原创 RDK X3与ESP32串口通讯 - 非阻塞式互传字符串
本文实现了RDK X3(旭日X3派)和ESP32通过UART串口双向通讯,实现字母+数字的复合通讯需求。并且,所有的通讯部分均使用非阻塞式的函数,未来使用时,只需要在程序主循环中按照一定的频率调用这个非阻塞式的函数来检查串口收发即可。代码托管在GitHub:https://github.com/WuChao-2024/UART_X3_ESP32。
2024-03-19 10:36:10
962
原创 为RDK系列量身打造的Web性能监测工具 - Performance Node!
该应用基于Web网页打造,支持RDK X3, X3 Module和RDK Ultra, 无论是什么品牌的电脑和手机,只需要在浏览器访问即可.代码托管在GitHub: https://github.com/WuChao-2024/RDK_Web_Performance_Node也可在本文末尾附件获取.
2024-03-19 10:29:51
1847
4
原创 conda install 和 pip install的区别和修改conda环境使用的pip
一句话说完,在conda的虚拟环境里面conda install一定是装在这个虚拟环境下, pip install不一定,需要使用which pip来判断使用的是哪个pip。找到这一行,将user_site = getusersitepackages() 改为当前虚拟环境的pip路径。如果在conda环境中显示pip的路径和系统全局的pip路径相同,那么就需要修改了。Step 2:找到当前环境的Python的site.py文件。Setp 3:修改当前环境的Python的site.py文件。
2023-12-06 10:33:51
719
原创 一款USB to TTL模块的短接帽使用
一、模块信息USB to TTL模块通过短接帽来选择VCC电平,笔者探究了几种不同情况下的VCC-GND电平。模块的芯片为:CH340G,模块如下图:二、测量结果(无短接)GND-5V : 5.200 V(无短接)GND-VCC : 3.858 V(无短接)GND-3V3 : 3.256 V(VCC-3V3短接)GND-5V : 5.240 V(VCC-5V短接)GND-3V3 : 3.263 V三、结论VCC-3V3短接时,GND-5V间电压为5.240 V;VCC-5V短接时,GN
2022-05-21 14:25:35
9010
7
原创 ESP8266-NodeMCU提高晶振速度,下载烧录速度和串口通讯速度,烧录快到起飞(Arduino IDE)
ESP8266-NodeMCU晶振速度,下载烧录波特率速度和串口通讯波特率速度均可以比默认高,让烧录下载快到起飞
2022-05-14 09:10:16
1426
C++从文件读200000个long long数据边读边插入multiset卡住
2023-03-13
TA创建的收藏夹 TA关注的收藏夹
TA关注的人