weixin_42206548的博客

我们在 rknn-multi-threaded 的基础上，对 RKNN_model_zoo 中的 YOLOv8 example 进行了整合，并使用 github Copilot 重写了后处理函数。这一改进不仅取消了对 PyTorch 的依赖，还将后处理耗时从几百毫秒降低到了几十毫秒。在 3 线程模式下，推理 YOLOv8s 模型可以达到约 45fps，而推理 YOLOv8s-seg 模型则可以达到约 25fps。

ros_rknn_yolo中推理使用的图像话题来源，除了usb摄像头外，一般是监控摄像头。监控摄像头推的都是rtsp流，因此需要一个ros包来将rtsp视频流解码转换成ros图像话题数据流。使用bw_rtsp_client包，可以方便、高效率的在rk3588中完成这个任务，转换1080p的rtsp流延时低于160毫秒，cpu占用率单核小于50%。

我们在useful-transformers项目基础上做了很多优化工作，使得Whisper模型能够在Rockchip RK3588平台上实现更快、更准确的实时语音识别。

如果你的香橙派5，使用的是ubuntu 22.04 同时内核版本是5.10.110，可以下载安装这个deb包。

这个文档提供了一个详细的步骤，指导如何在基于RK3588的系统上使用ROS和ros_rknn_yolo包来实现YOLO对象检测。