【模型部署】在地平线J3开发板部署YOLOv8模型

最新推荐文章于 2024-12-18 08:30:01 发布
最新推荐文章于 2024-12-18 08:30:01 发布
阅读量765 收藏
点赞数 2
分类专栏： 剪枝 蒸馏 量化 部署 YOLOv8系列 文章标签： 人工智能 目标检测 YOLO
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_51579041/article/details/136687250
版权

To be continue…

基于地平线J5/J3部署深度学习模型
xiaomu_347的博客
07-09 916
模型转换的第一步是模型检查，该步骤将分析模型与硬件平台的兼容性。在模型检查阶段，模型将被拆分为适合BPU和CPU运行的子图，理想情况下，我们期望仅存在一个运行在BPU上的子图。在进行ONNX模型转换时，需注意X3硬件架构的特定要求：它仅支持ONNX Opset 11版本，且模型输入维度限定为NCHW或NHWC，同时只支持批次为1的操作。地平线X3硬件平台的BPU单元主要支持INT8，尽管市场上如华为Atlas200 NPU等产品也支持FP16精度，但在以卷积计算主导的网络输出中，这两者间的精度差异并不大。
地平线3*j3域控方案介绍
汽车电子软件领域知识分享
02-18 4019
地平线3*j3域控制器方案介绍
【地平线 开发板】实现模型转换并在地平线开发板上部署的全过程操作记录(魔改开发包)
计算机视觉方面的点点滴滴，欢迎一起讨论
08-01 2952
PyTorch实现神经网络自制分类数据集的训练并将其部署在地平线旭日3开发板上的全流程。这段时间总感觉心里不太舒服，我只是想在开发板上跑一个分类模型而已，也太费事了吧！最近，我又去学了亿点点，后知后觉，发现这个过程其实还挺简单的，只是自己刚开始学的时候，不会用而已(真香)！为了方便和我水平类似的初级开发者，结合自己之前的经历，把困扰自己的一些问题记录一下。同时，以mobilenetv1分类模型为例，把自己用到的部分从开发包里抽取出来，方便以后快速学习，不用再跳"老远"去调用文件！吃力文件文件夹。...
J3 部署(检测和分割)
@bangbang的博客
06-23 279
【代码】J3 部署(检测和分割)
yolov8在地平线旭日X3派上的部署和测试（Python版本和C++版本）
jinshushijie的博客
03-26 4046
需要对转换的onnx模型进行验证，这个是yolov8官方的转换工具，相信官方无需onnx模型的推理验证。这部分可以基于yolov5的模型转转换进行修改，本人的测试就是将yolov5的复制出来一份进行的修改。当前的测试也是基于Python的yolov5版本修改的，模型和测试路径如下。当前的测试也是基于C++的yolov5版本修改的，模型和测试路径如下。使用的转换脚本是yolov8官方的转换脚本。
地平线开发板 调试
luoganttcc的博客
06-23 259
https://blog.youkuaiyun.com/Foxproll/article/details/119031033https://zhuanlan.zhihu.com/p/235450643https://blog.youkuaiyun.com/hyl1718/article/details/115697490?spm=1001.2101.3001.6661.1&utm_medium=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7ECTRLIST%7Edefa
飞桨部署到地平线
whaosoft143ai的博客
09-16 682
Model-type为ONNX、Caffe等可选模型，config_file中包含了模型转化的各种参数，包括模型输入大小，节点名称，输入类型（此处非常重要，因为板端通常接入MIPI相机等，NV12的图像数据结构与训练使用的NCHW差别较大，大部分MIPI相机输入都需要增加转化节点），模型输出layout以及推理优先级（速度优先还是带宽优先）等，下图为转化推理文件的输出结果，模型的精度保持达到97.76%。在测试集上获取70%左右的准确率，训练精度约为72.3%，保留了较高的精度，可以满足板端推理需求。
RK3568笔记五十五：yolov10训练部署测试
08-17 542
若该文为原创文章，转载请注明原文出处。yolov8还没熟悉，yolov10就出来了，本篇记录使用yolov10训练自己的数据，并部署到rk3568上。参考大佬的博客。
RK3568笔记二十二：基于TACO的垃圾检测和识别
04-16 1194
若该文为原创文章，转载请注明原文出处。基于TACO数据集，使用YOLOv8分割模型进行垃圾检测和识别，并在ATK-RK3568上部署运行。
黑芝麻芯片部署学习笔记
xiaomu_347的博客
08-23 218
这一点不得不说一下了，黑芝麻的相关资料真的太少，而且不多外开放，这就导致刚开始入门有点盲人摸象的感觉，其官方论坛网站目前还只对合作方开放，如有合作意向请联系邮箱mkt@bst.ai，感觉有点限制了其发展，这一点还不如地平线来的敞亮。根据这篇博客的说明，可以按照博主的操作。由于自己手头上没有黑芝麻的板子，后续的摸索就等哪天拿到实物再进行记录吧。
地平线X3开发板Intel Realsense深度相机调试记录
bingdund的博客
05-14 1222
终于完成了realsense的SDK编译与使用，这意味着这个新板子可应用在更多的场景。各位可以直接下载编译好的文件，包含C++和Python的库，相关文件已经上传至。下面为设备连接信息，可以看到，当前设备识别的USB接口为3.2接口，这样就可以。跑起来之后，在显示屏上的展示效果如下，能够有效地获取目标的RGBD数据。这里只提供了编译好的一些库，并没有测试，有问题的话欢迎各位指出。同时记录，彩色相机和深度相机支持的配置，方便后续相机分辨率的设置。，在整体的展示过程中，内存耗用200M，CPU几乎占满，
地平线X3开发板接入usb camera
bingdund的博客
05-14 362
3、在板子上运行deploy包内的run.sh脚本，“sh run.sh face x3dev usb_cam”，开始从camera读取视频流并做智能分析。一般USB Camera支持输出的视频格式包括H264和H265，输出的图片格式为YUY2，MJPEG等，具体需要查看使用的Camera设备。本文介绍了将通用的标准USB Camera设备接入到地平线的X3生态开发板的方法，对于USB Camera，虽然输入是实时视频，但是vio的配置使用的是回灌配置。
YOLOv8部署在地平线旭日x3
qq_54134410的博客
10-31 1352
进入到horizon_xj3_open_explorer_v1.8.5_20211224\ddk\samples\ai_toolchain\horizon_model_convert_sample\04_detection路径下，创建一个mapper文件夹（个人文件管理，可忽略），再创建一个08_yolov8文件夹（可自行命名）， 在路径下创建onnx_model文件夹，将onnx放入。运行正常的话,保存的图片有检测出的物体。如果你的电脑中以前没用过docker，需要先安装docker。
地平线X3开发板开发环境搭建
学无止境
04-14 4702
地平线X3开发板开发环境搭建 最近弄了一个地平线X3的开发板回来，看了一下它的测试环境和demo，搭建了一个简单的测试环境，测试了一下自带的face body等例程。以下是详细过程。 开发环境搭建 安装CMAKE 安装CMake 3.15+以上版本。安装方式如下： wget https://github.com/Kitware/CMake/releases/download/v3.17.2/cmake-3.17.2.tar.gz \ && tar -zxvf cmake-3.17.2
地平线RDK X5 AI开发板首发尝鲜评测
weixin_54862871的博客
12-18 3048
AI开发板地平线RDK X5开箱，及简要的AI体验
【X3 input_layout_rt】地平线X3开发板 模型转换期间config.yaml文件中的input_layout_rt踩坑记录
计算机视觉方面的点点滴滴，欢迎一起讨论
05-08 1509
文章目录1 问题描述2 问题分析3 hb_model_verifier验证 quanti onnx 和 bin模型 的一致性4 网络模型本身有问题？5 模型转换工具链使用的问题？6 思考与建议7 附上一些很好的踩坑文章 仅以此文感谢师弟 闪电侠的右手，并记录bug调试过程。 1 问题描述 之前有写过文章：将pytorch生成的onnx模型转换成.bin模型，其中，在获取.bin模型时，把yaml文件中input_parameters:下的input_layout_rt参数设置为NCHW，因为在注释指导中说N
地平线旭日 X3 开发板上手体验
哦豁灬
01-19 3568
最近嫖到一块旭日X3开发板，借此熟悉地平线 AI 芯片旭日 X3 模型部署流程，以及算法工具链。这里基本是跟着进行操作，其中也遇到一些奇怪的问题。
地平线征程5开发平台简介
热门推荐
weixin_41896321的博客
05-18 1万+
地平线征程5开发平台，基于立讯LS500 uSOM基础开发套件。
地平线X3开发版初体验之Hello World
hugh_jackman的博客
04-06 2454
在某位大佬的知道下，开始进入嵌入式AI的坑。以此为背景，最近入手了一块地平线X3开发板，包括一块核心板、一个摄像头、一块充电器，若干连接线。 开发板开发需要交叉编译，为尽快上手，写一个Hello World熟悉一下X3板子的交叉编译工具链，感受一个交叉编译。 首先是配置宿主机环境，我是在虚拟机上开发，安装虚拟机VMware,用的系统是ubantu18.0,下载时使用国内镜像还是很快的。 大佬给了一份已经写好的Hello World代码，一次使用Cmake直接编译即可。 由于mac没有usb接口，所以
地平线J3中BPU感知模型处理的图像数据是RGB格式吗
最新发布
02-28
<think>好的，用户问的是地平线J3中的BPU感知模型处理的图像数据是不是RGB格式。首先，我需要确认地平线J3是什么，BPU又是什么。地平线应该是Horizon Robotics，他们做自动驾驶芯片，J3可能是他们的某款处理器。BPU是Brain Processing Unit，是他们自研的AI加速器，专门用于处理感知任务，比如图像识别、目标检测等。 接下来，用户想知道BPU处理的是否是RGB格式的数据。通常来说，摄像头捕捉的是RAW数据，然后经过ISP处理转成RGB或者YUV。但很多神经网络模型在训练时使用的是RGB格式，所以可能输入是RGB。不过，有些情况下，为了减少计算量或提高效率，可能会转成YUV或者其他格式，比如YUV420，因为亮度信息Y更重要，色度UV可以降采样，减少数据量。 另外，考虑到硬件加速器的设计，BPU可能支持不同的输入格式。需要查证地平线J3的文档或者技术资料，看他们的BPU支持哪些图像格式。比如，是否支持RGB、YUV，或者其他预处理后的数据格式。例如，某些AI芯片会要求输入数据经过特定的预处理，比如归一化、通道顺序调整（如BGR代替RGB），或者量化到特定精度（如INT8）。 还有，ISP处理后的数据可能直接输入到BPU，这时候需要看ISP的输出格式。如果ISP输出的是RGB，那么BPU处理的就是RGB。如果ISP转成了YUV，或者BPU内部有转换模块，那可能处理的是YUV。此外，有些模型可能直接在YUV上进行推理，尤其是针对嵌入式设备优化的模型，这样可以省去格式转换的开销。 另外，考虑到自动驾驶系统的实时性要求，数据处理的效率很关键。YUV格式可能更高效，因为Y分量单独处理，UV分量可以降采样，减少数据量，加快处理速度。所以，有可能地平线J3的BPU处理的是YUV格式的数据，但需要具体信息来确认。 可能用户的实际需求是想了解数据在BPU中的处理流程，或者进行开发时需要准备哪种格式的数据。需要进一步询问用户是否有具体的应用场景，或者是否需要数据预处理的信息。但根据当前问题，需要明确回答BPU处理的图像格式是否为RGB，并给出依据，比如技术文档或常见的处理流程。 总结可能的回答结构：先介绍BPU的作用，然后说明通常摄像头数据经过ISP后的格式，再讨论BPU支持的输入格式，最后结合地平线J3的具体情况给出结论。</think>在地平线（Horizon Robotics）的J3芯片中，**BPU（Brain Processing Unit）感知模型处理的图像数据通常不是直接使用原始RGB格式**，而是经过ISP（图像信号处理器）预处理和格式优化后的数据。以下是详细分析： --- ### **1. BPU的工作流程与输入数据** 地平线J3的BPU是面向自动驾驶场景设计的AI加速器，其输入数据需满足高效计算和实时性需求。典型处理流程为： ``` 摄像头传感器 → RAW数据 → ISP处理 → **YUV或特定格式** → BPU（AI推理） ``` - **RAW数据**：传感器原始数据（Bayer格式）需先通过ISP进行去马赛克、降噪、色彩校正等处理。 - **ISP输出格式**： 多数自动驾驶芯片（包括J3）的ISP会输出**YUV420/NV12格式**而非RGB，原因包括： - **带宽优化**：YUV420的色度分量（U/V）经过降采样，数据量比RGB减少约50%。 - **硬件兼容性**：视频编码器、显示模块等更倾向直接处理YUV数据。 - **模型适配**：部分感知模型直接支持YUV输入，避免格式转换开销。 --- ### **2. BPU模型输入的实际格式** 地平线J3的BPU在部署感知模型（如目标检测、语义分割）时，**输入格式通常为YUV或经过归一化的张量**，而非原生RGB，具体原因如下： - **硬件优化**： J3芯片的ISP和BPU深度协同，ISP直接输出YUV数据到BPU的内存，**省去RGB转换步骤**。 - **模型训练适配**： 地平线的训练框架（如天工开物工具链）支持将YUV数据直接输入模型，或自动完成**YUV→RGB转换**（若模型需要）。 - **性能考量**： 跳过RGB转换可减少计算延迟，这对自动驾驶的实时性至关重要。 --- ### **3. 技术验证与示例** 以地平线官方文档和开发实践为例： - **模型输入配置**： 在J3的模型部署配置文件中（如`config.yaml`），输入格式通常定义为： ```yaml input_format: NV12 # 或YUV420 ``` - **数据流示例**： ``` Camera → ISP → YUV420/NV12 → BPU内存 → 模型推理（直接处理YUV或内部转为RGB） ``` - **开发者适配**： 若模型训练时依赖RGB输入，地平线工具链会在模型编译阶段自动插入**YUV→RGB转换层**，但对开发者透明。 --- ### **4. 核心结论** - **多数情况下**：BPU处理的输入数据为**YUV格式**（如NV12），而非原始RGB。 - **特殊情况**：若模型强制要求RGB输入，转换操作由工具链在编译时自动完成，**实际硬件仍以YUV传输**以节省带宽。 - **优势**：直接处理YUV可降低系统延迟，提升能效比，符合车规级芯片的设计目标。 --- 如果需要进一步验证，可参考地平线J3的《ISP配置指南》或《模型部署手册》，明确输入数据格式的配置选项。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BILLY BILLY

你的奖励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值