基于RV1106 PaddleDetection ncnn 的车牌检测识别系统

序论

车牌的识别和检测一直有着广泛的应用场景，不论是在简单的停车场收费系统中，还是大到交通监控系统中，均有广泛的应用，在本次实验中，我们采用了 PaddleDet和rcnn分别做了车牌的检测和识别，可以在检测阶段做到25帧，在识别阶段5帧的效果，几乎可以说具备了较为良好的部署体验了。

车牌识别

本章节在 Lockzhiner Vision Module 上基于 PaddleDet 目标检测类和rcnn文本识别模型，实现了一个车牌识别案例。

1. 基本知识简介

1.1 车牌识别简介

车牌识别是一种基于计算机视觉和深度学习的技术，通过图像处理、字符分割和光学字符识别算法，自动提取车辆牌照中的文字与数字信息。该技术可实时识别不同光照、角度和复杂背景下的车牌，广泛应用于智能交通管理、停车场收费系统、电子警察执法等场景。

1.2 车牌识别流程

• ​​车牌检测：
  • ​深度学习​​：YOLO、Faster R-CNN等检测模型定位车牌区域。
  • ​​传统方法：颜色空间分析（蓝色/黄色车牌）+边缘检测。
• ​​车牌矫正：透视变换调整倾斜角度，Hough直线检测旋转角度。
• ​字符分割：​​垂直投影法分割字符，连通域分析处理粘连字符。
• 字符识别：
  • ​CRNN​​：CNN+RNN+CTC结构，端到端识别。
  • OCR模型​​：Tesseract、PaddleOCR等开源工具。

---

2. C++ API文档

2.1 PaddleDetection 类

2.1.1 头文件

#include <lockzhiner_vision_module/vision/deep_learning/detection/paddle_det.h>

2.1.2 构造函数

lockzhiner_vision_module::vision::PaddleDetection();

• 作用：
  • 创建一个 PaddleDetection 对象，并初始化相关成员变量。
• 参数：
  • 无
• 返回值：
  • 无

2.1.3 Initialize函数

bool Initialize(const std::string& model_path);

• 作用：
  • 加载预训练的 PaddleDetection 模型。
• 参数：
  • model_path：模型路径，包含模型文件和参数文件。
• 返回值：
  • true：模型加载成功。
  • false：模型加载失败。

2.1.4 SetThreshold函数

void SetThreshold(float score_threshold = 0.5, float nms_threshold = 0.3);

• 作用：
  • 设置目标检测的置信度阈值和NMS阈值。
• 参数：
  • score_threshold：置信度阈值，默认值为0.5。
  • nms_threshold：NMS阈值，默认值为0.3。
• 返回值：
  • 无

2.1.5 Predict函数

std::vector<lockzhiner_vision_module::vision::DetectionResult> Predict(const cv::Mat& image);

• 作用：
  • 使用加载的模型对输入图像进行目标检测，返回检测结果。
• 参数：
  • input_mat (const cv::Mat&): 输入的图像数据，通常是一个 cv::Mat 变量。
• 返回值：
  • 返回一个包含多个 DetectionResult 对象的向量，每个对象表示一个检测结果。

2.2 Net类

2.2.1 头文件

#include <ncnn/net.h>

• 作用：用于声明Net类，使得Net类可以在当前文件中使用。

2.2.2 构造类函数

ncnn::Net ocr_net;

• 作用：创建一个Net类型的对象实例，用于加载模型和参数等。
• 参数说明：无
• 返回值：无

2.3.3 load_param函数

int load_param(const DataReader& dr);

• 参数说明：
  • dr：传入的参数文件路径。
• 返回值：
  • 返回值为0表示加载参数文件成功。

2.2.4 load_model函数

int load_model(const DataReader& dr);

• 参数说明：
  • dr：传入的模型文件路径。
• 返回值：返回值为0表示加载模型成功。

2.2.5 from_pixels函数

ncnn::Mat