RV1106 YOLOv5s部署：OpenCV优化实现20FPS边缘推理(无大量硬件加速)

序言

基于RV1106平台开展YOLOv5模型移植过程中，发现RKNN官方参考代码存在两大技术瓶颈：其一，算法实现深度依赖RK底层硬件加速模块，导致代码架构与硬件强耦合；其二，原始实现仅支持单帧图像推理模式，无法满足实际应用场景需求。尽管参考了幸狐LockFox团队的视频流推理方案，但其数据采集端仍固守mipi摄像头专用传输协议，在非标准硬件环境下缺乏可移植性。

针对上述技术痛点，本研究提出基于OpenCV通用框架的端到端视频流推理方案。通过将摄像头数据采集模块重构为OpenCV标准接口实现，成功解耦硬件依赖关系。在保证算法完整性的前提下，将预处理、后处理等环节全部替换为OpenCV标准函数库操作。经实验验证，在输入分辨率320×320条件下，系统达到20FPS的推理性能。性能分析显示，OpenCV的图像操作消耗的性能较大，成为当前系统主要瓶颈。通过将输入分辨率再次降低，推理帧率可再次提升。

YOLOV5目标检测

本章节基于 Lockzhiner Vision Module 和 YOLOv5 目标检测模型，实现实时目标检测功能。

1. 基本知识简介

1.1 目标检测简介

目标检测是计算机视觉领域中的一个关键任务，它不仅需要识别图像中存在哪些对象，还需要定位这些对象的位置。具体来说，目标检测算法会输出每个检测到的对象的边界框（Bounding Box）以及其所属类别的概率或置信度得分。

• 应用场景：目标检测技术广泛应用于多个领域，包括但不限于安全监控、自动驾驶汽车、智能零售和医疗影像分析。

1.2 YOLOv5简介

YOLOv5 是 Ultralytics 在 2020 年基于 PyTorch 开发的一种高效目标检测模型，属于 YOLO 系列。它通过一次前向传播即可预测目标的类别和位置，适用于实时检测任务。YOLOv5 提供了多种模型大小（如 YOLOv5s、m、l、x），适应不同硬件条件。其结构包括骨干网络 CSPDarknet、特征融合层和检测头，支持多尺度预测和自定义训练，广泛用于各种检测场景。

2. API 文档

2.1 YOLOv5模型类

2.1.1 头文件

#include "yolov5.h"

2.1.2 模型初始化函数

int init_yolov5_model(const char* model_path, rknn_app_context_t* ctx);

• 作用：加载YOLOv5 RKNN模型并初始化推理上下文
• 参数
  • model_path：RKNN模型文件路径
  • ctx：模型上下文指针
• 返回值：
  • 0：初始化成功
  • -1：初始化失败

2.1.3 模型推理函数

int inference_yolov5_model(rknn_app_context_t* ctx, 
                         object_detect_result_list* od_results);

• 作用：执行模型推理并获取检测结果
• 参数：
  • ctx：已初始化的模型上下文
  • od_results：检测结果存储结构体指针
• 返回值： <