Tequila Sunrise～-优快云博客

原创 [RT-DETR边缘部署(4)]RK3588上的前后处理与多线程推理

本文探讨了RT-DETR模型在RK3588嵌入式设备上的高效部署方案。重点分析了前后处理的关键技术：前处理需严格对齐量化参数，建议采用RGA硬件加速；后处理方面，RT-DETR采用匈牙利算法替代传统NMS，输出300个最优预测框，显著提升密集目标检测性能。针对NPU利用率低的痛点，提出多线程异步推理框架，通过流水线并行将CPU预处理与NPU推理重叠执行。实验表明，该方案在保持精度的同时，显著提升了嵌入式设备的实时检测性能。

2026-03-17 13:22:28 846 2

原创【多模态YOLO11算法在RK3588部署实战】

本文介绍了多模态YOLO11算法在RK3588 NPU上的部署全流程。通过融合可见光与红外图像的优势，该算法实现了全天候高精度目标检测。部署过程包括：1) 准备M3FD数据集和YOLO11n模型；2) 将PyTorch模型转换为ONNX格式；3) 在Ubuntu环境中使用RKNN-Toolkit2将ONNX转换为RKNN格式；4) 在RK3588开发板上进行推理测试。重点解决了6通道多模态数据的量化处理问题，提供了完整的代码实现方案，为智能驾驶和安防领域的全天候目标检测提供了实用解决方案。

2026-03-12 16:06:33 635

原创 [RT-DETR边缘部署(3)]Decoder检测头中GridSample算子优化

摘要：本文分析了RKNN推理中出现的GridSample算子不支持问题。该算子在RT-DETR模型的多尺度可变形注意力模块中用于特征重采样。文章详细解析了GridSample的双线性插值原理：通过坐标归一化映射、寻找四邻域像素点、面积加权计算实现特征重组。针对NPU不支持的问题，提出了自定义实现的思路，包括坐标反归一化、边界裁剪和权重计算等关键步骤。最后给出了Python实现代码框架，为模型在边缘设备上的部署提供了优化方案。

2026-03-02 16:06:46 1100 8

原创 [RT-DETR边缘部署(2)]ONNX中MatMul#2算子优化

本文针对RT-DETR模型在RKNN部署时MatMul算子转换失败的问题进行了分析。研究发现，RKNN编译器会强制将全连接层转换为1x1卷积，导致维度不匹配错误。通过动态修改PyTorch的Linear层前向传播逻辑，在导出ONNX时将3D张量展平为2D矩阵，成功避免了自动转换。最终采用Reshape->2D MatMul->Reshape的结构导出ONNX模型，解决了转换问题。该方法为Transformer类模型在NPU上的部署提供了有效解决方案。

2026-02-28 20:06:13 886 1

原创单目标跟踪SOT部署：PyTracking库跟踪模型转onnx/TensorRT（以OSTrack与AVTrack为例）

PyTracking是一个基于PyTorch的开源视觉目标跟踪库，由ETH Zurich等机构开发，包含多篇顶会最佳算法。本文重点介绍了基于Transformer架构的OSTrack跟踪器，详细讲解了其部署流程：1)克隆项目并配置环境；2)修改模型输出格式以适配ONNX转换；3)提供完整的ONNX导出代码，包含模型构建、权重加载和简化优化步骤。该库采用模块化设计，支持灵活替换组件，是当前视觉跟踪领域最权威的基准框架之一。

2026-02-27 20:11:56 787

原创基于RKLLM的Qwen3-vl推理代码解析

参考历史博客，成功把Qwen3-vl2b部署在RK3588上，但是对代码处理流程模糊，C++底子差，遂做笔记于优快云。难免出错，欢迎大家指出，交流。

2026-01-16 13:20:29 1106

原创编写ROS2接口报错（em, numpy, lark缺失）解决办法

解决ros2接口报错问题：em, numpy, lark

2026-01-13 10:56:42 362

原创 [RT-DETR边缘部署(1)]Ultralytics库版本的RTDETR在rk3588部署失败，tensorRT成功

本文分享了在RK3588平台上部署基于Ultralytics库改进的RT-DETR模型时遇到的失败经历。作者使用VisDrone数据集训练了10类检测模型，并通过三种不同方法将PyTorch模型转换为ONNX格式：1) 直接使用Ultralytics库原生导出功能；2) 修改瑞芯微的YOLOv8导出代码适配RT-DETR；3) 其他转换方式。虽然模型训练和格式转换过程都顺利完成，但在RK3588开发板上的实际部署却未能成功。文章详细记录了完整的训练和导出流程，希望能与社区交流解决这一部署问题，特别是针对Ul

2026-01-10 17:58:34 1004 1

原创鲁班猫4 rk3588部署Qwen3-vl步骤

本文详细介绍了在鲁班猫4 RK3588平台上部署Qwen3-VL模型的完整流程。主要内容包括：1) 创建Python 3.9环境并安装RKNN/RKLLM工具链；2) 通过ModelScope下载Qwen3-VL-2B模型；3) 将视觉模块转换为ONNX和RKNN格式；4) 修改适配Qwen3-VL的量化脚本并生成校准数据；5) 导出并量化RKLLM模型。整个过程涵盖了从环境配置到模型转换的关键步骤，为在RK3588嵌入式平台上部署多模态大模型提供了实用指南。

2026-01-04 21:06:09 751 2

原创 DroneVehicle数据集转YOLO格式（一标签对应两模态）

本文介绍了将DroneVehicle数据集转换为YOLO格式的过程，重点处理双模态数据（可见光和红外图像）的标注对齐问题。首先通过Python脚本裁剪图像去除白边，然后使用XML解析工具将标注转换为YOLO格式的TXT文件。代码实现了类别映射、坐标转换等功能，确保一标签对应两模态数据，并处理了标注不一致的情况。转换过程包括图像预处理、坐标归一化和标注文件生成等步骤，为后续多模态融合学习提供标准化数据格式。

2025-12-12 17:10:37 1154 5

原创 VEDAI数据集转换YOLO格式（旋转框转水平框）

本文介绍了将VEDAI数据集从旋转框标注转换为YOLO格式水平框的方法。VEDAI数据集包含512和1024两种分辨率，标注信息存储在annotation512.txt和annotation1024.txt文件中，记录了目标中心点、旋转角度、角点坐标和类别等信息。通过Python脚本实现了格式转换，主要包括：加载数据集划分、读取标注文件、将旋转框转换为水平框（计算最小外接矩形）、按类别映射处理7类目标（汽车、皮卡、房车等）。转换后的数据采用YOLO格式（归一化中心坐标和宽高），并按训练/测试集划分存储，便于

2025-12-09 14:35:58 1536

weixin_65585850的博客