本文介绍了如何在Windows 10环境下，使用Android Studio开发工具集成NCNN和OpenCV库，实现人脸检测与活体检测功能。通过yolov5-face进行实时人脸检测，配合静默活体检测算法Silent-Face-Anti-Spoofing，实现在华为Mate30 Pro上的高效运行。代码分享了JNI交互、项目创建、布局设计以及关键API的实现，附带下载链接。
前言
1.开发环境是win10,IDE是Android studio 北极狐，用到的库有NCNN,OpenCV。
2.NCNN库可以用官方编译好的releases库，也可以按官方文档自己编译。
3.OpenCV用的是nihui大佬简化过的opencv-mobile，大小只有10多M,如果不嫌大也可以用OpenCV官方的版本。
4.项目的各种依赖版本：
一、人脸检测
人脸活体检测的前提条件是先检测到当前的画面是否存在人脸，这里用的人脸检测用的yolov5-face,yolov5-face是一种实时、高精度的人脸检测，搭配NCNN在安卓上（华为Mate 30 pro）cpu 能跑出18 FPS左右，GPU能跑出25 FPS。算法源码地址：https://github.com/deepcam-cn/yolov5-face 。论文地址：https://arxiv.org/abs/2105.12931 。
二、活体检测
1、人脸活体检测是用来检测当前摄像头所检测到的人脸是否是伪造的，是人脸验证和人脸识别的前提条件，如果不能检测出来是否是活体，那么就会出现比如常见用照片，人脸面具，3D人像等其他媒介来骗过人脸识别系统。
2、目前主流的活体解决方案分为配合式活体检测和非配合式活体检测（静默活体检测）。配合式活体检测需要用户根据提示完成指定的动作(比如眨眼，头往哪边转一下)，然后再进行活体校验，静默活体则在用户无感的情况下直接进行活体校验。
3、这里演示的是静默活体检测，算法地址：https://github.com/minivision-ai/Silent-Face-Anti-Spoofing 。
三、创建项目
1.创建一个Native C++工程。
2.在CPP目录下导入OpenCV和NCNN库。
四、代码
1.添加打开安卓摄像头的ndkcamera，这是一个快速打开前后摄像头的轻量级C++库。
2.添加用于检测人脸的代码yoloface.h和yoloface.cpp。
3.添加活体检测代码facelive.h和ffacelive.cpp 。
4.在资源里面添加到的模型。
5.添加布局代码。
<?xml version="1.0" encoding="utf-8"?>
<androidx.constraintlayout.widget.ConstraintLayout xmlns:android="http://schemas.android.com/apk/res/android"
xmlns:app="http://schemas.android.com/apk/res-auto"
xmlns:tools="http://schemas.android.com/tools"
android:layout_width="match_parent"
android:layout_height="match_parent"
tools:context=".MainActivity">
<SurfaceView
android:id="@+id/cameraview"
android:layout_width="fill_parent"
android:layout_height="fill_parent"
app:layout_constraintBottom_toBottomOf="parent"
app:layout_constraintEnd_toEndOf="parent"
app:layout_constraintHorizontal_bias="1.0"
app:layout_constraintStart_toStartOf="parent"
app:layout_constraintTop_toTopOf="parent"
app:layout_constraintVertical_bias="0.0" />
<ImageButton
android:id="@+id/button_switch_camera"
android:layout_width="wrap_content"
android:layout_height="wrap_content"
android:layout_marginStart="20dp"
android:layout_marginBottom="30dp"
android:src="@drawable/ic_switch_camera"
app:layout_constraintBottom_toBottomOf="parent"
app:layout_constraintStart_toStartOf="parent"></ImageButton>
<ImageButton
android:id="@+id/btn_open_image"
android:layout_width="wrap_content"
android:layout_height="wrap_content"
android:layout_marginBottom="30dp"
android:src="@drawable/ic_gallery"
app:layout_constraintBottom_toBottomOf="parent"
app:layout_constraintEnd_toEndOf="parent"
app:layout_constraintHorizontal_bias="0.498"
app:layout_constraintStart_toStartOf="parent">
</ImageButton>
<ImageButton
android:id="@+id/spinner_CPUGPU"
android:layout_width="wrap_content"
android:layout_height="wrap_content"
android:layout_marginStart="330dp"
android:layout_marginBottom="30dp"
android:src="@drawable/ic_baseline"
app:layout_constraintBottom_toBottomOf="parent"
app:layout_constraintStart_toStartOf="parent">
</ImageButton>
</androidx.constraintlayout.widget.ConstraintLayout>
6.编写makefile文件。
project(ncnnyoloface)
cmake_minimum_required(VERSION 3.10)
set(OpenCV_DIR ${CMAKE_SOURCE_DIR}/opencv/sdk/native/jni)
find_package(OpenCV REQUIRED core imgproc)
set(ncnn_DIR ${CMAKE_SOURCE_DIR}/ncnn/${ANDROID_ABI}/lib/cmake/ncnn)
find_package(ncnn REQUIRED)
add_library(livedetect SHARED yoloface.cpp facelive.cpp yolofacencnn.cpp ndkcamera.cpp)
target_link_libraries(livedetect ncnn ${OpenCV_LIBS} camera2ndk mediandk)
7.JNI交互代码
7.1 在Java里面面定义与C++交互的接口如下：
public class LiveDetect
{
public native boolean loadModel(AssetManager mgr, int cpugpu);
public native boolean openCamera(int facing);
public native boolean closeCamera();
public native boolean setOutputWindow(Surface surface);
public native Bitmap yoloTarget(Bitmap bitmap);
static {
System.loadLibrary("livedetect");
}
}
7.2 在Native C++里面实现接口。
extern "C" {
JNIEXPORT jint JNI_OnLoad(JavaVM* vm, void* reserved)
{
__android_log_print(ANDROID_LOG_DEBUG, "ncnn", "JNI_OnLoad");
g_camera = new MyNdkCamera;
return JNI_VERSION_1_4;
}
JNIEXPORT void JNI_OnUnload(JavaVM* vm, void* reserved)
{
__android_log_print(ANDROID_LOG_DEBUG, "ncnn", "JNI_OnUnload");
{
ncnn::MutexLockGuard g(lock);
delete yolo_detect;
delete face_live;
face_live = 0;
yolo_detect = 0;
}
delete g_camera;
g_camera = 0;
}
JNIEXPORT jboolean JNICALL Java_com_dashu_livedetect_LiveDetect_loadModel(JNIEnv* env, jobject thiz, jobject assetManager, jint cpugpu)
{
if ( cpugpu < 0 || cpugpu > 1)
{
return JNI_FALSE;
}
AAssetManager* mgr = AAssetManager_fromJava(env, assetManager);
bool use_gpu = (int)cpugpu == 1;
// reload
{
ncnn::MutexLockGuard g(lock);
if (use_gpu && ncnn::get_gpu_count() == 0)
{
// no gpu
delete yolo_detect;
delete face_live;
yolo_detect = 0;
face_live = 0;
}
else
{
if (!yolo_detect)
{
yolo_detect = new YoloFace;
face_live = new FaceLive;
}
yolo_detect->loadModel(mgr,face_model,use_gpu);
face_live->LoadModel(mgr,live_model,use_gpu);
}
}
return JNI_TRUE;
}
JNIEXPORT jobject JNICALL
Java_com_dashu_livedetect_LiveDetect_yoloTarget(JNIEnv *env,jobject, jobject image)
{
cv::Mat cv_src,cv_dst,cv_doc;
//bitmap转化成mat
BitmapToMat(env,image,cv_src);
cv::cvtColor(cv_src,cv_doc,cv::COLOR_BGRA2BGR);
std::vector<Object> objects;
yolo_detect->detection(cv_doc, objects);
yolo_detect->drawTarget(cv_doc, objects);
MatToBitmap(env,cv_doc,image);
cv_dst.release();
return image;
}
JNIEXPORT jboolean JNICALL Java_com_dashu_livedetect_LiveDetect_openCamera(JNIEnv* env, jobject thiz, jint facing)
{
if (facing < 0 || facing > 1)
return JNI_FALSE;
__android_log_print(ANDROID_LOG_DEBUG, "ncnn", "openCamera %d", facing);
g_camera->open((int)facing);
return JNI_TRUE;
}
JNIEXPORT jboolean JNICALL Java_com_dashu_livedetect_LiveDetect_closeCamera(JNIEnv* env, jobject thiz)
{
__android_log_print(ANDROID_LOG_DEBUG, "ncnn", "closeCamera");
g_camera->close();
return JNI_TRUE;
}
// public native boolean setOutputWindow(Surface surface);
JNIEXPORT jboolean JNICALL Java_com_dashu_livedetect_LiveDetect_setOutputWindow(JNIEnv* env, jobject thiz, jobject surface)
{
ANativeWindow* win = ANativeWindow_fromSurface(env, surface);
__android_log_print(ANDROID_LOG_DEBUG, "ncnn", "setOutputWindow %p", win);
g_camera->set_window(win);
return JNI_TRUE;
}
7.3 MainActivity里面调用Java类与C++交互的接口实现功能。
//切换摄像头
ImageButton buttonSwitchCamera = (ImageButton) findViewById(R.id.button_switch_camera);
buttonSwitchCamera.setOnClickListener(new View.OnClickListener() {
@Override
public void onClick(View arg0) {
int new_facing = 1 - facing;
yolo_fire.closeCamera();
yolo_fire.openCamera(new_facing);
facing = new_facing;
}
});
//打开图像
open_image = (ImageButton) findViewById(R.id.btn_open_image);
open_image.setOnClickListener(new View.OnClickListener()
{
@Override
public void onClick(View arg0)
{
Intent i = new Intent(Intent.ACTION_PICK);
i.setType("image/*");
startActivityForResult(i, SELECT_IMAGE);
yolo_fire.closeCamera();
}
});
//切换CPU/GPU
spinnerCPUGPU = (ImageButton) findViewById(R.id.spinner_CPUGPU);
spinnerCPUGPU.setOnClickListener(new View.OnClickListener() {
@Override
public void onClick(View arg0) {
if(current_cpugpu == 0)
{
current_cpugpu = 1;
Toast.makeText(MainActivity.this, "启用CPU推理", Toast.LENGTH_SHORT).show();
}
else
{
current_cpugpu = 0;
Toast.makeText(MainActivity.this, "启用GPU推理", Toast.LENGTH_SHORT).show();
}
reload();
}
});
reload();
}
7.4 运行效果。
五.资源文件
可执行的apk文件:https://download.youkuaiyun.com/download/matt45m/85007518
扫一扫
215
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
