目标检测5：采用yolov8, RK3568上推理实时视频流

原创 已于 2024-03-08 15:51:13 修改 · 2.7k 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#目标检测 #RK3568 #RK3588 #yolov8

于 2024-03-05 18:12:49 首次发布
文章讲述了使用RK3568芯片接收RTSP视频流，通过解码、推理和编码技术提升清晰度的过程。作者提到3568的性能有限，但经过优化后可以实现实时目标检测。此外，还提及了使用COCO数据集和如何将预训练模型转换到RKNN在3568上的应用。
部署运行你感兴趣的模型镜像

 上一个效果图，海康球机对着电脑屏幕拍，清晰度不好。

RK3568接取RTSP视频流，通过解码，推理，编码，最终并把结果推出RTSP视频流。

RK3568 推理

 

数据集采用coco的80个种类集，通过从yovo8.pt，转换成RKNN，然后跑在3568上。

3568性能太差了些，通过优化终于可以实时推理视频了。如果跑在RK3588上会很好，没钱买3588，只能先用3568调研。

如果不处理视频流，只处理图片的话，RK3568绝对够用。

RKNN输出信息：

参考：

目标检测：1预备知识

目标检测：2如何生成自己的数据集

您可能感兴趣的与本文相关的镜像

Yolo-v8.3

Yolo-v8.3

Yolo

YOLO（You Only Look Once）是一种流行的物体检测和图像分割模型，由华盛顿大学的Joseph Redmon 和Ali Farhadi 开发。 YOLO 于2015 年推出，因其高速和高精度而广受欢迎

proing
关注
RK3568笔记六十八：Yolov11目标检测部署测试
11-07 1101
若该文为原创文章，转载请注明原文出处。看到yolov11出了，山水无移大佬测试通过，跟个风测试一下效果。使用的是正点原子的ATK-DLRK3568开发板。这里不训练自己的模型了，使用官方模型测试。
RK3568笔记一：RKNN开发环境搭建
10-06 3889
RK3568开发板使用的是正点原子新出的ATK-DLRK3568 开发板，主要是学习从训练到部署的全过程，并记录，为自己的学习作个总结。关于ATK-DLRK3568 开发板，正点原子正在出教程，资料也开源，手册目前相对少一点，但不影响学习，因为主要是AI部分，所以基本要自己摸索。本篇从开发环境搭建开始记录，大部分在03【正点原子】ATK-DLRK3568_AI例程测试手册V1.0.pdf里有，具体要了解，可以去下载资料。虚拟机和系统自行安装，博主使用的是原子哥提供好的虚拟环境。
yolov8同时推理多路视频流，同时支持torch和onnx推理
06-30
yolov8同时推理多路视频流，同时支持torch和onnx推理
香橙派5使用RK3588S内置NPU加速yolov5推理，实时识别数字达到50fps
热门推荐
weixin_51651698的博客
04-17 2万+
香橙派5采用了RK3588S，内置的NPU达到了6Tops的算力，博主这里记录一下自己的踩坑过程，好不容易做出来的不能以后忘记了（手动狗头）。这里博主还在B站上发布了效果视频，大家感兴趣的话可以看一下。其中解决了先验框标注位置不对，或者出现非常多的框的问题
目标检测6：采用yolov8, RK3568推理的性能
06-12 1881
根据官方的数据，yolov8s模型的性能在15.4 FPS。所以基本上也吻合了这个数据。通过性能优化，发现推理，稳定的达到了FPS 13左右，NPU利用率在90%上下浮动。解析一段视频文件，1280*720, fps 24。读取视频文件，然后进行推理。本次采用模型为yolov8s.rknn，作了一次验证。
YOLOv8 onnx 文件推理多线程加速视频流
weixin_43958308的博客
11-27 2440
【代码】YOLOv8 onnx 文件推理多线程加速视频流。
YOLOv8 基于RTSP流目标检测
07-28
YOLOv8是当下先进目标检测技术的代表之一，其在实时视频流处理领域有着重要的应用价值。本篇文章将详细介绍YOLOv8如何实现基于RTSP流的目标检测，这在视频监控、智能交通管理、工业自动化等众多领域具有广泛的应用...
精选资源
rk3588+yolov8+多线程推理+rtsp拉流
07-02
在rk3588开发板上部署yolov8，使用线程池多线程推理，ffmpeg+rtsp拉流网络摄像头，rkmpp硬件解码视频。此为python程序。c程序见https://download.youkuaiyun.com/download/m0_66021094/91250299
rk3588+ros2+yolov8+多线程推理+rtsp拉流
07-02
在rk3588这样具有高算力和丰富接口的开发板上部署YOLOv8，可以充分利用其强大的计算能力进行实时视频目标检测。 多线程推理指的是使用多个线程来同时处理数据，这样可以显著提高程序处理的效率。在处理视频流这样的...
精选资源
rk3588+yolov5+多线程推理+rtsp拉流
07-02
这些技术的结合，使得部署在RK3588开发板上的yolov5 cpp程序，能够高效地进行视频流处理和目标检测，为各种应用场景提供了强大的技术支持。 对于技术人员来说，这样的系统部署不仅是一次技术的挑战，也是一次实践和...
VS+QT+Opencv使用YOLOv4对视频流进行目标检测
boss-dog
08-12 1890
【代码】VS+QT+Opencv使用YOLOv4对视频流进行目标检测。
yolov8实战第五天——yolov8+ffmpeg实时视频流检测并进行实时推流——（推流，保姆教学）
qq_34717531的博客
01-05 1万+
YOLOv8是YOLO目标检测算法的一个变种。它在YOLOv4的基础上进行了一些改进，如使用更大的图像尺寸、更深的网络结构、更多的训练数据等，从而获得更好的检测精度和更快的检测速度。实时视频流目标检测是一种非常有用的应用场景。例如，在视频监控系统中，我们需要对视频流进行实时分析和检测，以便及时发现异常事件和行为。另外，实时视频流目标检测也可以用于自动驾驶、无人机等领域。
RK3568 NPU YOLOV5S 目标检测DEMO
kuosuoguang3325的博客
07-01 1786
若不想要编译，可从网盘目录获取可执行程序 1-SDK Source 软件源码/demo/rknn_yolov5_demo_Linux.tar.gz。编译成功后，执行程序生成目录 install/rknn_yolov5_demo_Linux/交叉编译工具链内置SDK目录，具体路径参考以上命令。RK356X只能运行到7帧/秒，可自行优化程序性能。拷贝方式可用U盘、网络等。系统：Debian11。开发板：RK356X。
【免费下载】 YOLOv8 多路视频流推理工具：高效处理视频数据的利器
gitblog_09779的博客
09-06 2106
YOLOv8 多路视频流推理工具：高效处理视频数据的利器 【下载地址】YOLOv8多路视频流推理工具 本仓库提供了一个资源文件，用于实现 YOLOv8 模型同时对多路视频流进行推理，并且支持使用 PyTorch 和 ONNX 两种推理引擎。通过本工具，您可以轻松地在多个视频流上并行运行 YOLOv8 模型，从而提高推理效...
基于YOLOv8的RTSP视频流实时目标检测与告警系统设计与实现（超详细）
我的青春一去不复返
09-18 8321
在训练模型完成后，想把模型应用起来，比如模型可以部署到项目中，实时接收RTSP视频流进行识别检测，一旦达到自己所设置的置信度阈值（例如大于0.5），系统就会实时把报警信息发送给服务端，由服务端进行实时响应和策略执行，很像是个企业级应用流程。比如：我们在yolov8平台训练完“火焰”模型，想要实时检测并把识别结果发送给服务端进行报警，一旦出现火焰，立即发送服务端进行报警。
YOLOv8结合SAHI推理图像和视频
Dora_blank的博客
07-07 4608
在上一篇文章中，我们深入探讨了如何通过结合YOLOv8和SAHI来增强小目标检测效果，并计算了相关评估指标，虽然我们也展示了可视化功能，但是这些功能往往需要结合实际的ground truth（GT）数据进行对比，这在实际操作中可能会稍显不便。为了进一步简化操作，这篇文章将直接分享可以用来推理图像和视频的代码，通过这段代码，我们能够更加方便地使用SAHI进行小目标检测，而不需要反复处理和对比GT数据。不多说啦，以下是完整的代码示例，供大家参考使用。
yolov8的rk3568量化部署
weixin_38991876的博客
04-17 599
如果做量化，又要考虑到模型的有效性问题，因为量化后类别的输出和回归检测框的输出同时做归一化，一个范围是0-1,一个范围是0-640,必然导致类别的输出基本全部为0,导致量化模型没法用。下面会给出我按照该7种方法针对rk3568做部署的代码，我这里onnx的推理和生成rknn的方法和他的一致，不一样的是C++部署部分。他那里直接给出了官方模型调整后的onnx文件，如果想要使用自己的模型，onnx网络结构的修改可以参考我之前的文章。我主要参考的是我前同事的博客，他这里写的非常清楚。
模型部署|将自己训练的yolov8模型在rk3568上部署
最新发布
qq_29676069的博客
09-14 1085
本文主要记录了如何将自己训练的 .pt 文件模型转换为 RKNN 格式的模型。这个过程涉及从 PyTorch 框架中导出训练好的模型，并通过 RKNN Toolkit 对其进行优化和转化，以便能够在 Rockchip 的硬件平台上进行推理加速。
yolov8pose pt转onnx，并实现图片和视频推理
LKjoey的博客
06-19 1万+
v8官网v8pose权重看自己设备配置和推理速度下载需要的模型。
RK3568yolov5 视频流 目标检测
05-17
### RK3568 平台上的 YOLOv5 视频流目标检测实现方法 要在 RK3568 平台上使用 YOLOv5 进行视频流的目标检测，可以按照以下方式构建解决方案。以下是详细的说明： #### 1. 环境准备 在开始之前，需要确保开发环境已经正确配置好。这通常包括安装必要的依赖库以及设置交叉编译工具链。 - 安装基础软件包和依赖项： ```bash sudo apt-get update && sudo apt-get install -y build-essential cmake git libgtk2.0-dev pkg-config python3-pip ``` - 配置 Python 开发环境并安装 OpenCV 和其他必要模块： ```bash pip3 install numpy opencv-python-headless torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cpu ``` 此部分操作基于 Linux 发行版完成，具体版本可能因硬件支持而异[^1]。 #### 2. 获取预训练模型文件 对于 YOLOv5 的应用来说，下载官方发布的预训练权重是非常重要的一步。可以通过访问 Ultralytics 提供的资源页面来获取这些文件。 - 下载对应大小（如 `yolov5s`）的 PyTorch 权重文件： ```bash wget https://github.com/ultralytics/yolov5/releases/download/v7.0/yolov5s.pt ``` 如果计划直接加载 `.rknn` 文件，则需提前转换原始模型至该格式[^2]。 #### 3. 编写或调整推理脚本 针对实时处理需求设计一段能够读取摄像头输入数据、调用神经网络预测函数并将结果显示出来的代码片段如下所示： ```python import cv2 from ultralytics import YOLO def main(): # 加载模型实例化对象 model = YOLO('yolov5s.pt') cap = cv2.VideoCapture(0) # 打开默认摄像机设备编号为零 while True: ret, frame = cap.read() # 抓拍当前帧图像 if not ret: break # 如果失败退出循环 results = model(frame)[0] # 对单张图片做推断得到结果列表中的第一个元素即为目标框集合 annotated_frame = results.plot() # 绘制边界矩形线段到原图之上形成标注后的视图画面 cv2.imshow("YOLOv5 Detection",annotated_frame) keypress=cv2.waitKey(1)&0xFF # 延迟一秒刷新界面等待按键事件发生 if(keypress==ord('q')): # 当按下键盘字母Q键时停止播放流程结束程序运行过程 break if __name__=='__main__': try: main() finally: cv2.destroyAllWindows() ``` 注意这里假设采用的是标准 USB 或内置 webcam 设备作为采集源；如果是 IP Camera 则应修改 URL 参数传递给 VideoCapture 构造器初始化连接地址字符串形式表示远程主机位置信息。 #### 4. 测试与优化性能表现 最后，在实际部署前还需经过充分测试验证整个系统的稳定性和效率水平是否满足预期指标要求。例如通过调节 batch size 大小或者启用 FP16 半精度计算等方式进一步提升吞吐量减少延迟时间成本等方面考虑因素较多取决于具体的业务场景特点决定最佳实践方案[^2]。 ---
评论 8
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值