RK3588平台上YOLOv8-pose模型转换：yolov8-pose.pt转yolov8-pose.onnx

已于 2024-12-24 13:17:04 修改
阅读量968 收藏 10
点赞数 8
CC 4.0 BY-SA版权
分类专栏： YOLO系列模型有效涨点改进 深度学习落地实战 文章标签： YOLO
于 2024-12-24 11:44:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_51988935/article/details/144688170

YOLOv8的原生模型包含了后处理步骤，其中一些形状超出了RK3588的矩阵计算限制，因此需要对输出层进行一些裁剪。本文将详细介绍YOLOv8模型从PyTorch格式（.pt）转换为适合RK3588平台上推理的yolov8-pose.onnx结构，以便后续能够顺利将onnx转rknn格式并在RK3588设备上高效运行。注本文涉及的全部代码都已上传到百度云盘，链接置于文末

一. 模型导出onnx结构对比

    

               支持转rknn格式的onnx输出                                    &

了解本专栏 订阅专栏 解锁全文 超级会员免费看
硬核实战：深度剖析YOLOv8-Pose在RK3588上的ONNX模型转换与高效部署策略
LXY_LOVE36的博客
11-03 24
边缘AI部署新趋势：YOLOv8-Pose模型在RK3588芯片上的高效优化策略 本文深入探讨了将YOLOv8-Pose姿态估计模型部署到RK3588边缘AI芯片的关键技术。针对NPU计算特性，提出"化繁为简"的优化方案： 1️⃣ 模型重构：将原生单输出ONNX结构拆解为8个中间输出头，剥离NPU不擅长的后处理操作（NMS、DFL解码等） 2️⃣ 协同计算：NPU负责特征提取和初步预测，CPU处理复杂后逻辑，实现性能与兼容性的最佳平衡 3️⃣ 代码实战：详细解析ultralytics库中
文末含资料链接和视频讲解！RK3588平台部署实战：YOLOv8-Pose人体姿态估计模型从PT到RKNN的全流程优化指南
LXY_LOVE36的博客
07-04 360
本文详细介绍了YOLOv8-Pose模型在瑞芯微RK3588平台上的部署优化方案。首先分析了RK3588的硬件特性（8核CPU、6TOPS NPU）与YOLOv8-Pose模型的技术优势（支持25点人体姿态检测）。随后通过模型转换流程，包括ONNX导出关键修改、RKNN量化参数调优等步骤。在C++部署环节，提供了多线程优化实现和交叉编译配置。最后探讨了量化感知训练和混合精度部署等性能优化方法，使模型在RK3588上达到28FPS的实时推理速度，功耗仅10W，为边缘计算场景提供了高效解决方案。
YOLOV8模型转换-ONNX-RKNN
10-12
文件中包含内容： 使用平台为RK3588 (1)step1:pt模型转onnx (2)step2: onnx调用做推理 (3)step3: onnx转rknn模型 (4)step4:rknn模型调用
yolov8pose pt转onnx，并实现图片和视频推理
LKjoey的博客
06-19 1万+
v8官网v8pose权重看自己设备配置和推理速度下载需要的模型。
【图像算法 - 05】RK3588 部署实战：YOLO11/YOLOv8(det/seg/pose/obb) 毫秒级推理入门（理论精讲 + 代码落地，新手零门槛上手）
qq_42910179的博客
07-27 2924
RK3588 作为国产化芯片中的佼佼者，在边缘计算和嵌入式设备领域展现出强劲实力。其搭载的四核 Cortex - A76 和四核 Cortex - A55 处理器架构，为深度学习模型的运行提供了坚实的算力支撑。同时，集成的专用 NPU 单元，针对神经网络运算进行了深度优化，能够高效处理 YOLO 系列模型的推理任务，满足实时性要求较高的场景需求。YOLO 系列模型一直是目标检测领域的热门选择， YOLOv11 更是在精度和速度上达到高峰。在国产化芯片 RK3588 上部署这些模型，既能发挥模型的高效检测能力
在瑞芯微RK3588平台上使用RKNN部署YOLOv8Pose模型的C++实战指南
weixin_51988935的博客
12-24 1716
在人工智能和计算机视觉领域，人体姿态估计是一项极具挑战性的任务，它对于理解人类行为、增强人机交互等方面具有重要意义。YOLOv8Pose作为YOLO系列中的新成员，以其高效和准确性在人体姿态估计任务中脱颖而出。本文将详细介绍如何在瑞芯微RK3588平台上，使用RKNN（Rockchip Neural Network Toolkit）框架部署YOLOv8Pose模型，并进行C++代码的编译和运行。注 本文全部代码、数据、模型、库，均已放置在文末的百度云盘链接里
使用RKNN进行YOLOv8人体姿态估计的实战教程：yolov8-pose.onnx转yolov8-pose.rknn+推理全流程
weixin_51988935的博客
12-24 1150
​ 之前文章有提到“YOLOv8的原生模型包含了后处理步骤，其中一些形状超出了RK3588的矩阵计算限制，因此需要对输出层进行一些裁剪”，通过裁剪后得到的onnx能够顺利的进行rknn转换，本文将对转rnkk过程，以及相应的后处理进行阐述。并在文末附上全部源码、数据、模型的百度云盘链接。 ​
yolov8-pose的数据集标注
qq_42178122的博客
10-27 3548
yolov8-pose制作自制数据集
RK3588部署YOLOv8
热门推荐
m0_48979117的博客
01-16 1万+
本人基于YOLOv8改进水了一篇论文，为了增加工作量在RK3588上部署了改进的算法。根据网上的方法一直没有部署成功，最后在参考官方和网络上的方法成功实现算法的部署，因此写下这篇博客进行记录，以防后面忘了怎么部署，也可供网友参考.
yolov8部署到RK3588_并运行示例12.4_笔记2
m0_60657960的博客
12-04 6243
将下面的so文件复制到/usr/lib/下。
yolov8pose算法c++移植部署于RK3588的开发板源码+使用说明
01-16
<项目介绍> yolov8pose算法c++移植部署于RK3588开发板源码+使用说明 yolov8 瑞芯微 rknn 板端 C++部署，使用平台 rk3588，全网最简单、运行最快的部署方式。 yolov8 瑞芯微 rknn 板端 C++部署，使用平台 rk3588。模型转换参考 onnx转rknn ， 仿真参考PC仿真 。 - 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 --------
【RK3588部署YOLOv8-pose姿态识别：从模型训练到RKNN落地，实现人体姿态分析精度与边缘推理速度双提升】
最新发布
know_F0727的博客
11-13 44
本教程从YOLOv8-pose模型的姿态识别训练，到RK3588的边缘量化部署，为你打造了一套“高精度+高实时性+低成本”的人体姿态分析解决方案。无论是健身动作纠正、智能安防行为检测，还是工业人员姿态监控，这套技术都能直接复用——你只需替换数据集与业务逻辑，即可快速落地专属的边缘AI姿态识别系统。如果你在实践中遇到任何卡点，欢迎随时交流。记住，人体姿态识别的价值在于“关键点准、推理快、部署易”，而这三者的平衡，正是你通过本教程能掌握的核心能力。
yolov5 pose 图片和视频推理脚本
LKjoey的博客
06-16 1765
有兴趣的小伙伴可以研究一下。
YOLOv8 Pose使用RKNN进行推理
qq_45195912的博客
11-08 981
yolov8-pose使用rknn进行部署
【YOLOv8-pose部署至RK3588】模型训练→转换RKNN→开发板部署
A_l_b_ert的博客
04-22 4316
最近做了一个YOLOv8 pose的关键点检测项目，涉及模型训练、转ONNX、转RKNN量化以及RK3588开发板调试部署，查了下优快云上暂未有关于YOLOv8 pose在RK系列开发板的免费详细教程，遂开此文，相互学习。
YOLOv8-pose在ncnn框架下部署过程记录（包含ncnn、pnnx安装以及模型结构更改及转换）
Rachel321的专栏
04-26 7654
YOLOv8-pose在ncnn框架下部署过程记录（包含ncnn、pnnx安装以及模型结构更改及转换）
RK3588部署YOLOv8（1）：YOLOv8和YOLOv8-pose转ONNX及Python后处理代码实现
qq_40387714的博客
02-26 3045
对YOLOv8和YOLOv8-pose，使用RKNN官方代码转ONNX，主要用于在RK3588上的模型部署，方便后续ONNX转RKNN，可以使用RK官方代码一键转换+部署。
【附源码】YOLOv8 PyTorch 模型转 ONNX 并推理，包含图像preprocess和nms的postprocess全流程超详细！（小白也能学会）
小钻风的博客
08-13 1872
通过本文的代码，我们成功地将一个 PyTorch.pt模型转换为 ONNX.onnx格式，并介绍了如何使用 ONNX Runtime 进行推理。ONNX 格式使得深度学习模型的跨框架、跨平台部署变得更加简便。
瑞芯微RK3588 C++部署Yolov8检测和分割模型
四平的博客
03-04 6990
Docker容器主要用来进行模型转换，也就是pt转onnx的过程，因此docker中需要用的的包主要是rockchip-yolov8,需要修改该代码，进行模型的转换，在linux服务器上安装docker环境，创建一个ubuntu系统的docker环境。，C++的部署的代码参考的里面都有，我自己这边只是根据自己的项目做了集成，如有需要可私信。这一部分的修改代码参考山水无移大哥的部署过程，贼清洗，膜拜一下，少走了很多弯路，直接贴上。（3）yolov8_onnx2rknn：在（2）的基础上转检测rknn模型。
yolov8-pose模型图
10-31
<think>首先，用户的问题是：“我想查找yolov8-pose模型的图 请问yolov8-pose模型图”，意思是用户想查找YOLOv8-pose模型的图。 我之前的回答是基于系统级指令和用户的问题。回顾用户的上一个问题，似乎没有直接的历史，因为这个对话是新的，只有系统指令和当前的用户查询。用户提到了“参考站内引用”，其中引用了三个来源： - 引用[1]：训练YOLOv8姿态估计模型，使用命令训练。 - 引用[2]：在RK3588平台上转换YOLOv8-pose模型，从.pt到.onnx。 - 引用[3]：YOLOv8-Pose的TensorRT推理，包括导出到ONNX。 用户当前的查询是查找YOLOv8-pose模型的图，可能是架构图或结构图。 根据系统指令： - 所有行内数学表达式用$...$格式。 - 独立公式用$$...$$单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 回答中引用的段落末尾自然地添加引用标识，例如：[^1] 另外，用户提到“上述引用仅供参考，并不是用户真正的需求，请尽可能多的参考用户上一次的问题和你的回答。” 但由于这是第一次交互，没有上一次的用户问题或我的回答。指令中说“参考用户上一次的问题和你的回答”，但这里没有历史。 所以，我应该直接基于当前查询回答。 用户想找模型的图。我需要解释YOLOv8-pose模型的结构，并可能指向相关资源或描述它。 YOLOv8-pose是Ultralytics YOLOv8的一个变体，专注于姿态估计。它基于YOLOv8物体检测模型，但添加了关键点检测头。 模型图可能指的是架构图，展示网络层次或组件。 由于引用中提到训练、转换和推理，我可以综合这些信息。 理想的结构： - 解释YOLOv8-pose模型。 - 描述其架构。 - 提供如何获取或查看模型的图。 - 生成相关问题。 在回答中，我需要引用来源。引用来自用户提供的引用[1], [2], [3]。我应该自然地添加引用标识。 例如，描述模型时，参考这些引用。 可能的回答结构： 1. 介绍YOLOv8-pose模型。 2. 描述其架构：输入、主干网络、颈部、头部（包括姿态估计）。 3. 提到如何查看模型的图：可能通过官方文档、GitHub仓库或导出可视化。 4. 生成相关问题。 引用使用： - [^1]：训练相关。 - [^2]：模型转换相关。 - [^3]：推理和导出相关。 对于模型图，引用[2]讨论模型转换，涉及到结构，可能有用。 用户说“参考站内引用”，但我应该确保回答真实可靠。 实际知识：YOLOv8-pose模型是基于YOLOv8的，主干是CSPDarknet，然后是PANet作为颈部，头部输出边界框和关键点坐标。 图可以从Ultralytics的GitHub或文档中找到。 在回答中，我可以建议用户查看源代码或使用工具可视化模型。 由于引用中提到导出到ONNX，我可以提到使用工具如Netron来可视化ONNX模型。 最终，生成相关问题。 用中文回答。 大纲： - 开头：解释YOLOv8-pose模型。 - 主体：描述模型结构，并建议如何获取图。 - 结尾：生成相关问题。 添加引用自然地在相关部分。 </think>### YOLOv8-pose模型结构图介绍 YOLOv8-pose是Ultralytics开发的YOLOv8模型的一个变体，专门用于姿态估计任务（如检测人体关键点）。它在YOLOv8物体检测架构的基础上，添加了一个姿态估计头部，用于预测关键点坐标（例如，人体的关节点）。模型的整体结构包括输入层、主干网络（Backbone）、颈部网络（Neck）和头部网络（Head）。下面我将逐步解释其架构，并提供如何获取或可视化模型图的建议（基于您的引用）。 #### 关键组件描述 1. **输入层**: 输入图像尺寸通常设置为$640 \times 640$像素（可通过`imgsz`参数调整）。图像经过预处理（如归一化）。 2. **主干网络（Backbone）**: 采用改进的CSPDarknet架构，负责特征提取。它使用卷积层和残差连接提取多尺度特征图。例如，模型文件如`yolov8s-pose.pt`或`yolov8n-pose.pt`包含预训练权重[^1]。 3. **颈部网络（Neck）**: 基于PANet（Path Aggregation Network），融合主干网络输出的特征图，增强多尺度检测能力。这有助于处理不同大小的对象。 4. **头部网络（Head）**: 包括两个部分： - **物体检测头部**: 输出边界框（bounding box）坐标和类别概率，使用锚点（anchor）机制。 - **姿态估计头部**: 添加一个额外分支，预测关键点坐标（每个关键点有$x, y$坐标）和置信度。输出层包含边界框、类别和关键点信息，总输出维度较高（例如，在ONNX转换时需裁剪冗余层以适应硬件限制[^2]）。 完整的YOLOv8-pose模型可以表示为： $$ f(\text{input}) = \text{Head}(\text{Neck}(\text{Backbone}(\text{input}))) $$ 其中，$f$输出边界框、类别和关键点张量。 #### 如何获取或可视化模型图？ YOLOv8-pose模型的图主要指架构图或计算图，用于直观展示网络层次。以下是获取方法： - **官方来源**：Ultralytics的GitHub仓库（例如，[YOLOv8文档](https://github.com/ultralytics/ultralytics)）提供模型结构文档和示意图。您可以搜索“YOLOv8 Architecture Diagram”或“YOLOv8-pose Diagram”获取标准图。 - **导出可视化**：使用模型导出工具生成可视图： - 从PyTorch模型（`.pt`文件）导出到ONNX格式（如引用[3]所述），然后使用可视化工具（如Netron）打开： ```bash # 示例命令导出ONNX模型（基于引用[3]） from ultralytics import YOLO model = YOLO("yolov8s-pose.pt") # 加载预训练模型 success = model.export(format="onnx", opset=11, simplify=True) # 导出为ONNX assert success ``` 导出后，在Netron（在线工具或桌面应用）中打开`.onnx`文件，即可交互式查看模型结构图，包括每一层的输入输出维度[^3]。 - 在转换到ONNX时，需注意输出层裁剪（如引用[2]所述），因为原始模型包含后处理步骤，可能超出硬件矩阵计算限制。裁剪后的图更简洁，适合可视化。 - **训练过程可视化**：训练模型时（如引用[1]的命令），Ultralytics库可能生成日志或TensorBoard图，展示训练时的结构细节。 如果您需要具体图像，我建议访问Ultralytics的官方资源或使用Netron工具。示例图（简化版）展示如下（基于标准YOLOv8结构）： ![YOLOv8-pose示意图](https://via.placeholder.com/400x200?text=YOLOv8-pose+Structure+Diagram) *注：此为示意图；实际图需从源码或导出文件获取。* #### 注意事项 - YOLOv8-pose模型在转换到ONNX时（如RK3588平台应用），输出层需要裁剪以适应硬件，这可能会简化原始结构图[^2]。 - 可视化工具如Netron能帮助理解模型流（从输入到关键点输出）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值