Mediapipe人脸关键点检测

Mediapipe介绍

MediaPipe是由google制作的开源的、跨平台的机器学习框架，可以将一些模型部署到不同的平台和设备上使用的同时，也能保住检测速度。

从图中可以发现，能在Python上实现的功能包括人脸检测（Face Detection）、人脸关键点（Face Mesh）,手部关键点（Hands）等。利用C++能实现更丰富的功能，我们可以后续探索。

环境部署

1. Python环境：建议3.6版本以上
2. Python主要模块:opencv-contrib-python；numpy; pandas; matplotlib
3. MediaPipe模块:mediapipe

安装方法：使用以下pip命令安装

pip install mediapipe

测试环境：导入如下库，如果不报错说明导入成功

import cv2
import mediapipe as mp
import pandas as pd 
import numpy as np 
import matplotlib.pyplot as plt

人脸关键点检测

模型调用与配置

# 调用关键点检测模型
mp_face_mesh = mp.solutions.face_mesh
face_mesh = mp_face_mesh.FaceMesh(static_image_mode=True,  
                                  max_num_faces=3,         
                                  refine_landmarks=True,  
                                  min_detection_confidence=0.5, 
                                  min_tracking_confidence=0.5) 

FaceMesh参数说明

• static_image_mode=True, 检测静态图片设置为False,检测视频设置为True，默认为False
• max_num_faces=3, 能检测的最大人脸数，默认为1
• refine_landmarks=True, 定位嘴唇、眼睛、瞳孔的关键点，设置为True，否则设置为False
• min_detection_confidence=0.5, 人脸检测的置信度
• min_tracking_confidence=0.5) 人脸追踪的置信度（检测图像时可以忽略）

输出结果解析

# 读取图像
img1 = cv2.imread("./images/img1.jpg")
# 将BGR图像转为RGB图像
_img1 = cv2.cvtColor(img1, cv2.COLOR_BGR2RGB)
# 使用模型获取关键点
results = face_mesh.process(_img1)

• 利用opencv读取图像的颜色通道为BGR，需要利用cv2.cvtColor方法将颜色通道转换为RGB
• 使用FaceMesh模型的process方法检测图像中的关键点

# 输出关键点
landmarks = results.multi_face_landmarks
print(landmarks)
# 提取关键点坐标