opencv&mediapipe 人脸检测+摄像头实时

最新推荐文章于 2025-03-26 09:00:00 发布
最新推荐文章于 2025-03-26 09:00:00 发布
阅读量1.1w 收藏 127
点赞数 15
文章标签： opencv 计算机视觉 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_52465909/article/details/122183470
版权

文章目录

单张人脸关键点检测

定义可视化图像函数
导入三维人脸关键点检测模型
导入可视化函数和可视化样式
读取图像
将图像模型输入，获取预测结果
BGR转RGB
将RGB图像输入模型，获取预测结果
预测人人脸个数
可视化人脸关键点检测效果
绘制人来脸和重点区域轮廓线，返回annotated_image
绘制人脸轮廓、眼睫毛、眼眶、嘴唇
在三维坐标中分别可视化人脸网格、轮廓、瞳孔

import cv2 as cv
import  mediapipe as mp
from tqdm import tqdm
import time
import  matplotlib.pyplot as plt

# 定义可视化图像函数
def look_img(img):
    img_RGB=cv.cvtColor(img,cv.COLOR_BGR2RGB)
    plt.imshow(img_RGB)
    plt.show()

# 导入三维人脸关键点检测模型
mp_face_mesh=mp.solutions.face_mesh
# help(mp_face_mesh.FaceMesh)

model=mp_face_mesh.FaceMesh(
    static_image_mode=True,#TRUE:静态图片/False:摄像头实时读取
    refine_landmarks=True,#使用Attention Mesh模型
    min_detection_confidence=0.5, #置信度阈值，越接近1越准
    min_tracking_confidence=0.5,#追踪阈值
)


# 导入可视化函数和可视化样式
mp_drawing=mp.solutions.drawing_utils
mp_drawing_styles=mp.solutions.drawing_styles

# 读取图像

img=cv.imread('img.png')

# look_img(img)

# 将图像模型输入，获取预测结果

# BGR转RGB
img_RGB=cv.cvtColor(img,cv.COLOR_BGR2RGB)

# 将RGB图像输入模型，获取预测结果

results=model.process(img_RGB)
# 预测人人脸个数
len(results.multi_face_landmarks)

print(len(results.multi_face_landmarks))

# 结果：1


# 可视化人脸关键点检测效果

# 绘制人来脸和重点区域轮廓线，返回annotated_image
annotated_image=img.copy()
if results.multi_face_landmarks: #如果检测出人脸
    for face_landmarks in results.multi_face_landmarks:#遍历每一张脸
        #绘制人脸网格
        mp_drawing.draw_landmarks(
            image=annotated_image,
            landmark_list=face_landmarks,
            connections=mp_face_mesh.FACEMESH_TESSELATION,
            #landmark_drawing_spec为关键点可视化样式，None为默认样式（不显示关键点）
            # landmark_drawing_spec=mp_drawing_styles.DrawingSpec(thickness=1,circle_radius=2,color=[66,77,229]),
            landmark_drawing_spec=None,
            connection_drawing_spec=mp_drawing_styles.get_default_face_mesh_tesselation_style()
        )
        #绘制人脸轮廓、眼睫毛、眼眶、嘴唇
        mp_drawing.draw_landmarks(
            image=annotated_image,
            landmark_list=face_landmarks,
            connections=mp_face_mesh.FACEMESH_CONTOURS,
            # landmark_drawing_spec为关键点可视化样式，None为默认样式（不显示关键点）
            # landmark_drawing_spec=mp_drawing_styles.DrawingSpec(thickness=1,circle_radius=2,color=[66,77,229]),
            landmark_drawing_spec=None,
            connection_drawing_spec=mp_drawing_styles.get_default_face_mesh_tesselation_style()

        )
        #绘制瞳孔区域
        mp_drawing.draw_landmarks(
            image=annotated_image,
            landmark_list=face_landmarks,
            connections=mp_face_mesh.FACEMESH_IRISES,
            # landmark_drawing_spec为关键点可视化样式，None为默认样式（不显示关键点）
            landmark_drawing_spec=mp_drawing_styles.DrawingSpec(thickness=1,circle_radius=2,color=[128,256,229]),
            # landmark_drawing_spec=None,
            connection_drawing_spec=mp_drawing_styles.get_default_face_mesh_tesselation_style()

        )

cv.imwrite('test.jpg',annotated_image)
look_img(annotated_image)
# 在三维坐标中分别可视化人脸网格、轮廓、瞳孔
mp_drawing.plot_landmarks(results.multi_face_landmarks[0],mp_face_mesh.FACEMESH_TESSELATION)
mp_drawing.plot_landmarks(results.multi_face_landmarks[0],mp_face_mesh.FACEMESH_CONTOURS)
mp_drawing.plot_landmarks(results.multi_face_landmarks[0],mp_face_mesh.FACEMESH_IRISES)

请添加图片描述
请添加图片描述
请添加图片描述

单张图像人脸检测

可以通过调用open3d实现3d模型建立，部分代码与上面类似

import cv2 as cv
import  mediapipe as mp
import numpy as np
from tqdm import tqdm
import time
import  matplotlib.pyplot as plt

# 定义可视化图像函数
def look_img(img):
    img_RGB=cv.cvtColor(img,cv.COLOR_BGR2RGB)
    plt.imshow(img_RGB)
    plt.show()

# 导入三维人脸关键点检测模型
mp_face_mesh=mp.solutions.face_mesh
# help(mp_face_mesh.FaceMesh)

model=mp_face_mesh.FaceMesh(
    static_image_mode=True,#TRUE:静态图片/False:摄像头实时读取
    refine_landmarks=True,#使用Attention Mesh模型
    max_num_faces=40,
    min_detection_confidence=0.2, #置信度阈值，越接近1越准
    min_tracking_confidence=0.5,#追踪阈值
)


# 导入可视化函数和可视化样式
mp_drawing=mp.solutions.drawing_utils
# mp_drawing_styles=mp.solutions.drawing_styles
draw_spec=mp_drawing.DrawingSpec(thickness=2,circle_radius=1,color=[223,155,6])
# 读取图像

img=cv.imread('../人脸三维关键点检测/dkx.jpg')
# width=img1.shape[1]
# height=img1.shape[0]
# img=cv.resize(img1,(width*10,height*10))
# look_img(img)

# 将图像模型输入，获取预测结果

# BGR转RGB
img_RGB=cv.cvtColor(img,cv.COLOR_BGR2RGB)

# 将RGB图像输入模型，获取预测结果

results=model.process(img_RGB)
# # 预测人人脸个数
# len(results.multi_face_landmarks)
#
# print(len(results.multi_face_landmarks))

if results.multi_face_landmarks:
    for face_landmarks  in results.multi_face_landmarks:
        mp_drawing.draw_landmarks(
            image=img,
            landmark_list=face_landmarks,
            connections=mp_face_mesh.FACEMESH_CONTOURS,
            landmark_drawing_spec=draw_spec,
            connection_drawing_spec=draw_spec
        )
else:
    print('未检测出人脸')
look_img(img)
mp_drawing.plot_landmarks(results.multi_face_landmarks[0],mp_face_mesh.FACEMESH_TESSELATION)
mp_drawing.plot_landmarks(results.multi_face_landmarks[1],mp_face_mesh.FACEMESH_CONTOURS)
mp_drawing.plot_landmarks(results.multi_face_landmarks[1],mp_face_mesh.FACEMESH_IRISES)


# 交互式三维可视化
coords=np.array(results.multi_face_landmarks[0].landmark)
# print(len(coords))
# print(coords)

def get_x(each):
    return each.x
def get_y(each):
    return each.y
def get_z(each):
    return each.z

# 分别获取所有关键点的XYZ坐标

points_x=np.array(list(map(get_x,coords)))
points_y=np.array(list(map(get_y,coords)))
points_z=np.array(list(map(get_z,coords)))

# 将三个方向的坐标合并
points=np.vstack((points_x,points_y,points_z)).T
print(points.shape)

import open3d
point_cloud=open3d.geometry.PointCloud()
point_cloud.points=open3d.utility.Vector3dVector(points)
open3d.visualization.draw_geometries([point_cloud])

请添加图片描述
这是建立的3d的可视化模型，可以通过鼠标拖动将其旋转

摄像头实时关键点检测

定义可视化图像函数
导入三维人脸关键点检测模型
导入可视化函数和可视化样式
读取单帧函数
主要代码和上面的图像类似

import cv2 as cv
import  mediapipe as mp
from tqdm import tqdm
import time
import  matplotlib.pyplot as plt


# 导入三维人脸关键点检测模型
mp_face_mesh=mp.solutions.face_mesh
# help(mp_face_mesh.FaceMesh)

model=mp_face_mesh.FaceMesh(
    static_image_mode=False,#TRUE:静态图片/False:摄像头实时读取
    refine_landmarks=True,#使用Attention Mesh模型
    max_num_faces=5,#最多检测几张人脸
    min_detection_confidence=0.5, #置信度阈值，越接近1越准
    min_tracking_confidence=0.5,#追踪阈值
)


# 导入可视化函数和可视化样式
mp_drawing=mp.solutions.drawing_utils
mp_drawing_styles=mp.solutions.drawing_styles

# 处理单帧的函数

def process_frame(img):
    #记录该帧处理的开始时间
    start_time=time.time()
    img_RGB=cv.cvtColor(img,cv.COLOR_BGR2RGB)
    results=model.process(img_RGB)
    if results.multi_face_landmarks:
        for face_landmarks in results.multi_face_landmarks:
            # mp_drawing.draw_detection(
            #  image=img,
            # landmarks_list=face_landmarks,
            # connections=mp_face_mesh.FACEMESH_TESSELATION,
            # landmarks_drawing_spec=None,
            # landmarks_drawing_spec=mp_drawing_styles.get_default_face_mesh_tesselation_style()
            # )

            # 绘制人脸网格
            mp_drawing.draw_landmarks(
                image=img,
                landmark_list=face_landmarks,
                connections=mp_face_mesh.FACEMESH_TESSELATION,
                # landmark_drawing_spec为关键点可视化样式，None为默认样式（不显示关键点）
                # landmark_drawing_spec=mp_drawing_styles.DrawingSpec(thickness=1,circle_radius=2,color=[66,77,229]),
                landmark_drawing_spec=None,
                connection_drawing_spec=mp_drawing_styles.get_default_face_mesh_tesselation_style()
            )
            # 绘制人脸轮廓、眼睫毛、眼眶、嘴唇
            mp_drawing.draw_landmarks(
                image=img,
                landmark_list=face_landmarks,
                connections=mp_face_mesh.FACEMESH_CONTOURS,
                # landmark_drawing_spec为关键点可视化样式，None为默认样式（不显示关键点）
                # landmark_drawing_spec=mp_drawing_styles.DrawingSpec(thickness=1,circle_radius=2,color=[66,77,229]),
                landmark_drawing_spec=None,
                connection_drawing_spec=mp_drawing_styles.get_default_face_mesh_tesselation_style()

            )
            # 绘制瞳孔区域
            mp_drawing.draw_landmarks(
                image=img,
                landmark_list=face_landmarks,
                connections=mp_face_mesh.FACEMESH_IRISES,
                # landmark_drawing_spec为关键点可视化样式，None为默认样式（不显示关键点）
                # landmark_drawing_spec=mp_drawing_styles.DrawingSpec(thickness=1, circle_radius=2, color=[0, 1, 128]),

                landmark_drawing_spec=None,
                connection_drawing_spec=mp_drawing_styles.get_default_face_mesh_tesselation_style())
    else:
        img = cv.putText(img, 'NO FACE DELECTED', (25 , 50 ), cv.FONT_HERSHEY_SIMPLEX, 1.25,
                         (218, 112, 214), 1, 8)


    #记录该帧处理完毕的时间
    end_time=time.time()
    #计算每秒处理图像的帧数FPS
    FPS=1/(end_time-start_time)
    scaler=1
    img=cv.putText(img,'FPS'+str(int(FPS)),(25*scaler,100*scaler),cv.FONT_HERSHEY_SIMPLEX,1.25*scaler,(0,0,255),1,8)
    return img


# 调用摄像头
cap=cv.VideoCapture(0)

cap.open(0)
# 无限循环，直到break被触发
while cap.isOpened():
    success,frame=cap.read()
    # if not success:
    #     print('ERROR')
    #     break
    frame=process_frame(frame)
    #展示处理后的三通道图像
    cv.imshow('my_window',frame)
    if cv.waitKey(1) &0xff==ord('q'):
        break

cap.release()
cv.destroyAllWindows()

Python+OpenCV+MediaPipe实时人流检测
走向CTO的路上...
11-07 774
实时人流检测是一项计算机视觉任务，旨在识别和统计视频流中的人群数量。这对于安全监控、交通管理和商业分析等应用场景至关重要。Python结合OpenCV和MediaPipe提供了一种简单且有效的方法来实现实时人流检测。通过合理的预处理和选择适当的检测模型，可以在各种应用场景中实时监测人流。
使用 Mediapipe 库检测图像中的人脸
深度学习与计算机视觉
04-29 3759
介绍在本文中，我们将学习使用 Mediapipe 库检测图像中的人脸，我们可能会看到可以执行相同任务的不同算法和模型。在这里，我们将在 Mediapipe 库的帮助下检测图像中的人脸，并逐代码解释。在继续前进之前，请不要混淆面部检测和面部标志检测，因为在面部检测中，它会检测整个面部并绘制边界框，但在面部标志检测中，它会检测面部的特征，即眼睛、鼻子和嘴巴等，虽然我们也会尝试...
【深度学习实战—9】：基于MediaPipe的人脸关键点检测
王乐予的博客
05-29 3894
使用谷歌MediaPipe框架实现人脸关键点检测，获取人脸区域400多个3D关键点，并在图中标记出部分区域。
MediaPipe检测人脸
深度学习与计算机视觉
02-21 3687
MediaPipe概述谷歌开源MediaPipe于2019年6月首次推出。它的目标是通过提供一些集成的计算机视觉和机器学习功能，使我们的生活变得轻松。MediaPipe是用于构建多模态（例...
OpenCV+mediapipe实现——手势识别（比心特效）
最新发布
WenJGo的博客
03-26 2198
深度学习案例，提供****免费源码****，超详细解释，你也来试试吧！~~~
Opencv+Mediapipe-＞人脸特征点检测
weixin_44686138的博客
05-06 4545
人脸特征点检测是计算机视觉领域中的一项重要技术，它可以自动地定位和识别人脸图像中的关键特征点，如眼睛、鼻子、嘴巴等。
探索MediaPipe检测人脸关键点
徐福记456
06-26 8944
MediaPipe是Google开源的计算机视觉处理框架，基于TensorFlow来训练模型，支持人脸识别、人脸关键点、目标检测追踪、图像分类、人像分割、手势识别、文本分类、语音分类等。我们可以使用CPU来推理，也可以选择GPU加速推理。在滤镜特效场景，经常需要用到人脸关键点。
Mediapipe框架(二)人脸检测
qq_44665283的博客
04-03 6343
Mediapipe框架(二)人脸检测
Python电脑摄像头实时人脸检测程序代码 基于mediapipe人脸检测
02-06
# Python电脑摄像头实时人脸检测程序 基于mediapipe人脸检测 使用 MediaPipe 库进行实时人脸检测的Python示例程序，写有详细中文注释。 ## 依赖 确保已经安装了以下依赖： - Python 3.x - OpenCV (`pip install ...
基于mediapipe+摄像头实时疲劳检测和坐姿检测的提醒小工具python源码+详细注释.zip
05-02
这个"基于mediapipe+摄像头实时疲劳检测和坐姿检测的提醒小工具"是一个实用的应用程序，它利用 Mediapipe 的功能来监测用户的疲劳状态和坐姿，如果检测到用户疲劳或坐姿不正确，将触发提醒功能。 1. **疲劳检测**：...
MediaPipe人脸特效
01-06
MediaPipe人脸特效是一种基于计算机视觉技术的实时应用，它利用Mediapipe库来检测人脸的关键点，并结合OpenCV库实现各种有趣的人脸特效。在本文中，我们将深入探讨这两个库的功能、它们如何协同工作以及如何创建自己...
人脸检测与分割，ncm的facemesh（mediapipe）-Android开发
05-26
ncnn的Android人脸检测和分割ncnn_Android_face的人脸检测和分割，ncnn的facemesh（mediapipe）PS：facemesh结果可能与mediapipe不同，因为某些操作会进行转换，希望有人对其进行改进。 参考：https://github.com/nihui/ncnn-android-scrfd https://github.com/deepcam-cn/yolov5-face https://github.com/Tencent/ncnn https://github.com /thepowerfuldeez/facemesh.pytorch
mediapipe-python-sample:MediaPipe的示例Python包。 截至20210303，我们有6个函数（手，姿势，人脸网格，整体，人脸检测，Objectron）和Python实现。
05-08
mediapipe-python-sample 示例Python包。 自2021/03/03起，以下6种具有Python实现的功能均可用。 要求 mediapipe 0.8.3或更高版本 OpenCV 3.4.2或更高版本 可以使用pip安装mediapipe。 pip install mediapipe 演示版 这是运行演示的方法。 面网 python sample_facemesh.py - 设备指定相机设备编号默认值：0 - 宽度拍摄相机时的宽度默认值：960 - 高度拍摄相机时的垂直宽度默认值：540 --max_num_hands检测到的最大手数默认值：1 --min_detection_confidence检测置信度阈值默认值：0.5 --min_tracking_confidence跟踪置信度阈值默认值：0.5 --use_brect是否绘制外接
[python][mediapipe]摄像头人脸检测
FL1623863129的博客
04-19 1147
model_selection=1, # 选择模型，0 适用于人脸离摄像头比较近（2米内）,1 适用于比较远（5米以内）min_detection_confidence=0.5, # 置信度阈值，过滤掉小于置信度的预测框。# 将RGB输入模型预测结果。# 可视化人脸框和人脸关键点。# 导入可视化函数以及可视化样式。# 导入BlazeFace模型。# 获取视频帧速率 FPS。# 获取视频帧宽度和高度。
【深度学习实战—8】：基于MediaPipe的人脸检测
王乐予的博客
05-27 946
使用Google的MediaPipe方案进行人脸检测，提供视频流检测程序
使用Mediapipe实现CPU上的实时人脸检测（每秒30帧）
Warmer_Sweeter
01-28 2419
对计算机视觉和人脸检测感兴趣吗？在这个初学者指南中，我们将探讨如何使用Mediapipe和Python进行实时人脸检测。了解如何利用Mediapipe和Python这一强大组合，在CPU上以惊人的30帧每秒的速度检测人脸。让我们开始吧。照片已检测到人脸关于Mediapipe的一点介绍Mediapipe是一个用于构建跨平台、可定制的实时和流媒体机器学习解决方案的开源框架。它可用于执行各种计算机视觉任...
MediaPipe+OpenCV 实现实时手势识别（附Python源码）
枯木何日可逢春
09-16 1648
MediaPipe+OpenCV 实现实时手势识别（附Python源码）
使用MediaPipe Face Mesh 面部动作检测
形上得其象，形下合于数；阴阳自济，玄理自明。
01-02 2602
视频流或图片获取前端通过摄像头捕捉视频流或图片，并将数据发送至后端。图像预处理对接收到的图像数据进行解码、缩放和颜色空间转换。人脸检测与关键点提取使用 MediaPipe 提取面部关键点（Face Mesh）。动作识别根据关键点数据，分析用户的具体动作（如转头、眨眼、张嘴）。结果返回将识别结果以 JSON 格式返回前端。
超简单 零基础 有手就行：使用 MediaPipe 实现实时脸部检测
m0_66891601的博客
07-23 1198
超简单 零基础 有手就行：使用 MediaPipe 实现实时脸部检测
MediaPipe 人脸识别
03-14
### MediaPipe 人脸识别教程 MediaPipe 是 Google 开源的一个多功能机器学习框架，适用于构建多模态和跨平台的应用程序。通过该框架，可以轻松实现人脸识别、人脸关键点检测等功能。 #### 使用 MediaPipe 进行人脸识别的核心概念 MediaPipe 提供了一套完整的解决方案来完成人脸检测任务。以下是其主要特性及其优势： - **高精度检测**：基于先进的 ML 模型，能够精确识别人脸位置以及关键点[^3]。 - **跨平台支持**：无论是 Android、iOS 或 Web 平台，都可以无缝运行这些模型[^1]。 - **灵活性**：可以选择 CPU 推理或者 GPU 加速推理，满足不同性能需求[^2]。 下面是一个简单的 Python 教程，展示如何利用 MediaPipe 实现基本的人脸检测功能： ```python import cv2 import mediapipe as mp # 初始化 MediaPipe 的人脸检测模块 mp_face_detection = mp.solutions.face_detection face_detection = mp_face_detection.FaceDetection(model_selection=0, min_detection_confidence=0.5) # 打开摄像头或加载图片/视频流 cap = cv2.VideoCapture(0) # 参数为 0 表示打开默认摄像头 while cap.isOpened(): success, image = cap.read() if not success: break # 将 BGR 图像转换为 RGB 图像以便于处理 rgb_image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB) # 对当前帧进行人脸检测 results = face_detection.process(rgb_image) if results.detections: for detection in results.detections: bboxC = detection.location_data.relative_bounding_box ih, iw, _ = image.shape x, y, w, h = int(bboxC.xmin * iw), int(bboxC.ymin * ih), \ int(bboxC.width * iw), int(bboxC.height * ih) # 绘制矩形框标记人脸区域 cv2.rectangle(image, (x, y), (x+w, y+h), (0, 255, 0), 2) # 显示带有标注的结果图像 cv2.imshow('Face Detection', image) if cv2.waitKey(5) & 0xFF == ord('q'): break cap.release() cv2.destroyAllWindows() ``` 上述代码实现了以下功能： - 利用 `mediapipe` 中的 `FaceDetection` 类初始化一个人脸检测器实例。 - 调整参数 `model_selection` 和 `min_detection_confidence` 来控制检测模式与置信度阈值。 - 借助 OpenCV 获取实时摄像机输入，并将其传递给 MediaPipe 处理函数。 - 输出结果会在原图上叠加绿色边框表示检测到的人脸范围。 #### 关键点说明 需要注意的是，在实际开发过程中可能还会遇到其他细节问题，比如优化性能、调整分辨率等。此外，如果希望进一步获取更精细的信息（如特定部位坐标），则需引入额外的关键点提取逻辑[^4]。 --- ###
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值