基于RV1106 PaddleDetection ArcFace的多模型人脸识别系统

本文链接：https://blog.youkuaiyun.com/Linzhenghan/article/details/147986837

人脸识别系统

本次介绍基于 Lockzhiner Vision Module 的 LZ-Picodet 模型训练的人脸检测模型 LZ-Face，以及ArcFace人脸识别模型,实现了一个人脸识别系统。
通过底层对摄像头接口的对齐，在使用的过程中尽可能的忽略了硬件所带来的影响，可以更专注于对软件的开发。同时全面支持opencv-mobile，可以使用更加完整的opencv函数，带来更强大的功能和更加灵活的使用方法。

1. 基本知识讲解

1.1 人脸识别简介

人脸识别是一种利用人的脸部特征进行身份识别的生物识别技术。它通过检测图像或视频中的人脸，提取如眼睛、鼻子和嘴巴等关键特征点，并将这些信息转化为面部特征向量，进而与已知人脸数据库中的数据比对来确认个人身份。被广泛应用于安全监控、门禁系统、移动设备解锁及社交媒体等领域。

1.2 人脸识别常用方法

人脸识别主要涉及到以下几个关键步骤：人脸检测、特征提取和匹配识别。以下是实现人脸识别的常用方法：

深度学习方法：现代的人脸识别系统大多采用深度学习方法，并结合大规模人脸数据库和高性能计算资源，实现了非常高的识别精度。
基于模板匹配的方法：通过将待识别人脸与预定义的标准人脸模板进行比较来实现识别。

2. C++ API 文档

2.1 FaceRecognitionSystem类

2.1.1 头文件

#include <lockzhiner_vision_module/vision/deep_learning/face/face_recognition_system/face_recognition_system.h>

作用：用于声明FaceRecognitionSystem类，使得FaceRecognitionSystem类可以在当前文件中使用。

2.1.2 构造类函数

lockzhiner_vision_module::vision::FaceRecognitionSystem face_system;

作用：用于实现人脸识别。
参数说明：
- 无
返回值：
- 无

2.1.3 Predict函数

auto result = face_system.Predict(input_mat);

作用：FaceRecognitionSystem类中的一个函数，用于实现人脸识别。
参数说明：
- input_mat：要识别的图像。
返回值：
- 返回一个包含人脸识别结果的对象。该对象包含人脸的id，置信度和人脸的位置信息。

2.2 Visualize函数

2.2.1 头文件

#include <lockzhiner_vision_module/vision/utils/visualize.h>

作用：用于声明Visualize函数，使得Visualize函数可以在当前源文件中使用。

2.2.2 结果可视化

lockzhiner_vision_module::vision::Visualize(input_mat, output_image, result);

参数说明：
- input_mat：原始输入图像。
- output_image：用于存储带有可视化结果的输出图像。
- result：输入参数，表示人脸识别的结果。该result对象包含人脸的id，置信度和人脸的位置信息。
返回值：
- 无

3. 综合代码解析

3.1 流程图

开始
|
|--- 初始化 FaceRecognitionSystem 模型对象 face_system
|
|--- 判断参数数量
|   |--- 参数数量不等于5 -> 输出使用说明并退出（返回1）
|
|--- 使用第一个和第二个参数初始化 face_system
|   |--- 成功 -> 继续执行
|   |--- 失败 -> 输出 "Failed to initialize face system" 并退出（返回1）
|
|--- 使用第三个和第四个参数构建数据库
|   |--- 成功 -> 继续执行
|   |--- 失败 -> 输出 "Failed to build database" 并退出（返回1）
|
|--- 初始化 Edit 模块
|   |--- 成功 -> 继续执行
|   |--- 失败 -> 输出错误信息并退出（返回EXIT_FAILURE）
|
|--- 打开摄像头
|   |--- 成功 -> 继续执行
|   |--- 失败 -> 输出错误信息并退出（返回EXIT_FAILURE）
|
|--- 进入循环读取帧
|   |--- 获取当前时间点作为开始时间
|   |--- 读取帧
|   |   |--- 成功 -> 继续执行
|   |   |--- 失败 -> 跳过本次循环
|   |--- 使用 face_system 对帧进行预测
|   |--- 获取当前时间点作为结束时间
|   |--- 计算并累加处理时间
|   |--- 可视化结果并使用 edit 模块处理帧
|   |--- 输出帧率
|
|--- 释放摄像头资源
|--- 程序正常退出（返回0）

3.2 核心代码解析

初始化人脸识别模型

lockzhiner_vision_module::vision::FaceRecognitionSystem face_system;

构建人脸数据库

if (!face_system.BuildDatabase(argv[3], argv[4])) {
  std::cout << "Failed to build database." << std::endl;
  return 1;
}

调用摄像头捕获图像

cv::VideoCapture cap;
// 设置摄像头获取帧的宽高
cap.set(cv::CAP_PROP_FRAME_WIDTH, 640);
cap.set(cv::CAP_PROP_FRAME_HEIGHT, 480);
cap.open(0);

// wihile循环中的以下代码用于捕获图像帧
cap >> input_mat;
if (input_mat.empty())
{
continue;
}

模型推理

auto result = face_system.Predict(input_mat);

3.3 完整代码实现

👉 点击获取完整源码

4. 编译调试

4.1 编译环境搭建

请确保你已经按照开发环境搭建指南正确配置了开发环境。
同时已经正确连接开发板。

4.2 Cmake介绍

cmake_minimum_required(VERSION 3.10)

project(D03_face_recognition_system)

set(CMAKE_CXX_STANDARD 17)
set(CMAKE_CXX_STANDARD_REQUIRED ON)

# 定义项目根目录路径
set(PROJECT_ROOT_PATH "${CMAKE_CURRENT_SOURCE_DIR}/../..")
message("PROJECT_ROOT_PATH = " ${PROJECT_ROOT_PATH})

include("${PROJECT_ROOT_PATH}/toolchains/arm-rockchip830-linux-uclibcgnueabihf.toolchain.cmake")

# 定义 OpenCV SDK 路径
set(OpenCV_ROOT_PATH "${PROJECT_ROOT_PATH}/third_party/opencv-mobile-4.10.0-lockzhiner-vision-module")
set(OpenCV_DIR "${OpenCV_ROOT_PATH}/lib/cmake/opencv4")
find_package(OpenCV REQUIRED)
set(OPENCV_LIBRARIES "${OpenCV_LIBS}")

# 定义 LockzhinerVisionModule SDK 路径
set(LockzhinerVisionModule_ROOT_PATH "${PROJECT_ROOT_PATH}/third_party/lockzhiner_vision_module_sdk")
set(LockzhinerVisionModule_DIR "${LockzhinerVisionModule_ROOT_PATH}/lib/cmake/lockzhiner_vision_module")
find_package(LockzhinerVisionModule REQUIRED)

add_executable(Test-face-recognition-system face_recognition_system.cc)
target_include_directories(Test-face-recognition-system PRIVATE ${LOCKZHINER_VISION_MODULE_INCLUDE_DIRS})
target_link_libraries(Test-face-recognition-system PRIVATE ${OPENCV_LIBRARIES} ${LOCKZHINER_VISION_MODULE_LIBRARIES})

install(
    TARGETS Test-face-recognition-system
    RUNTIME DESTINATION .  
)

4.3 编译项目

使用 Docker Destop 打开 LockzhinerVisionModule 容器并执行以下命令来编译项目

# 进入Demo所在目录
cd /LockzhinerVisionModuleWorkSpace/LockzhinerVisionModule/Cpp_example/D03_face_recognition_system
# 创建编译目录
rm -rf build && mkdir build && cd build
# 配置交叉编译工具链
export TOOLCHAIN_ROOT_PATH="/LockzhinerVisionModuleWorkSpace/arm-rockchip830-linux-uclibcgnueabihf"
# 使用cmake配置项目
cmake ..
# 执行编译项目
make -j8 && make install

在执行完上述命令后，会在build目录下生成可执行文件。

5. 例程运行示例

5.1 运行前准备

请确保你已经下载了凌智视觉模块人脸检测模型
请确保你已经下载了凌智视觉模块人脸识别模型

5.2 运行过程

在凌智视觉模块输入以下命令：

chmod 777 Test-face-recognition-system
./Test-face-recognition-system LZ-Face LZ-ArcFace BaseDataset CropDataset

5.3 运行效果

👉 点击查看运行效果

5.4 注意事项

上面提到的BaseDataset和CropDataset需要提前创建。BaseDataset用于存储已有的人脸图像，同一个人的人脸图像保存在BaseDataset的一个子文件夹下。CropDataset文件夹创建时为空，用于保存裁剪后的人脸图像，目录结构和BaseDataset相同。

6. 总结

通过上述内容，我们成功实现了一个高效的人脸识别系统，包括：

获取并加载包含人脸的图像。
进行人脸检测和识别。
可视化人脸识别结果。

🚀 开发者生态：

订阅 更新日志 获取新模型支持

🔧 问题反馈：

遇到技术问题？请到凌智视觉模块官方仓库**凌智视觉模块** 提交Issue