人脸特征提取(dlib+opencv+python3.8)

本文介绍了如何在Python中使用dlib库进行人脸检测,并结合opencv实现墨镜绘制功能,实现实时在摄像头捕捉的画面中为人脸添加黑色实心圆眼镜效果。
部署运行你感兴趣的模型镜像

一、dlib库及opencv安装

冷知识:whl本质上是一个压缩文件,在其中包含了py文件,以及经过编译的pyd文件。这个格式可以使文件在不具备编译环境的情况下,选择合适自己的python环境进行安装。

  • 确定下载文件所在的路径,添加到系统变量:(Windows10系统)右键开始菜单,选择系统,点击右上角高级系统设置,即可看到系统变量
  • 开始菜单输入cmd进入控制台,进入whl所在文件路径,用以下命令来安装,注意python版本为3.8,如果你的python是其他版本的,就需要下载对应版本的dlib库,把文件名换一下
pip install dlib-19.19.0-cp38-cp38-win_amd64.whl
  • 后面还要使用python里的opencv库,这个安装还是蛮简单的,直接用pip就行了,但和上面安装dlib库一样,要注意版本,到时候上网搜一下对应版本就行了,3.8版本可以使用3.4.11.15版本
pip install opencv_python==3.4.11.45

二、利用dlib库绘制墨镜(黑色的实心圆)

# 导入包
import numpy as np
import cv2
import dlib
import os
import sys
import random
  • 添加函数,获得默认的人脸检测器和训练好的人脸68特征点检测器
def get_detector_and_predicyor():
    #使用dlib自带的frontal_face_detector作为我们的特征提取器
    detector = dlib.get_frontal_face_detector()
    """
    功能:人脸检测画框
    参数:PythonFunction和in Classes
    in classes表示采样次数,次数越多获取的人脸的次数越多,但更容易框错
    返回值是矩形的坐标,每个矩形为一个人脸(默认的人脸检测器)
    """
    #返回训练好的人脸68特征点检测器
    predictor = dlib.shape_predictor('..\\source\\shape_predictor_68_face_landmarks.dat')
    return detector,predictor
#获取检测器
detector,predictor=get_detector_and_predicyor()
  • 添加给眼睛画圆的函数,这个就是找到眼睛周围的特征点,然后确认中心点,后面用cirecle函数画出来就行了
def painting_sunglasses(img,detector,predictor):   
    #给人脸带上墨镜
    rects = detector(img_gray, 0)  
    for i in range(len(rects)):
        landmarks = np.matrix([[p.x, p.y] for p in predictor(img,rects[i]).parts()])
        right_eye_x=0
        right_eye_y=0
        left_eye_x=0
        left_eye_y=0
        for i in range(36,42):#右眼范围
            #将坐标相加
            right_eye_x+=landmarks[i][0,0]
            right_eye_y+=landmarks[i][0,1]
        #取眼睛的中点坐标
        pos_right=(int(right_eye_x/6),int(right_eye_y/6))
        """
        利用circle函数画圆
        函数原型      
        cv2.circle(img, center, radius, color[, thickness[, lineType[, shift]]])
        img:输入的图片data
        center:圆心位置
        radius:圆的半径
        color:圆的颜色
        thickness:圆形轮廓的粗细(如果为正)。负厚度表示要绘制实心圆。
        lineType: 圆边界的类型。
        shift:中心坐标和半径值中的小数位数。
        """
        cv2.circle(img=img, center=pos_right, radius=30, color=(0,0,0),thickness=-1)
        for i in range(42,48):#左眼范围
           #将坐标相加
            left_eye_x+=landmarks[i][0,0]
            left_eye_y+=landmarks[i][0,1]
        #取眼睛的中点坐标
        pos_left=(int(left_eye_x/6),int(left_eye_y/6))
        cv2.circle(img=img, center=pos_left, radius=30, color=(0,0,0),thickness=-1)
  • 调用函数
camera = cv2.VideoCapture(0)#打开摄像头
ok=True
# 打开摄像头 参数为输入流,可以为摄像头或视频文件
while ok:
    ok,img = camera.read()
     # 转换成灰度图像
    img_gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
    #display_feature_point(img,detector,predictor)
    painting_sunglasses(img,detector,predictor)#调用画墨镜函数
    cv2.imshow('video', img)
    k = cv2.waitKey(1)
    if k == 27:    # press 'ESC' to quit
        break
camera.release()
cv2.destroyAllWindows()
  • 实验结果
    在这里插入图片描述

三、总结

这次做了关于dlib库和opencv库,因为是和可视化有关的,在调试功能的时候还是比较有趣的,由于都是调用库函数实现的,对于怎么实现的并没有一个清晰的认知,不过对于使用来说还是比较熟悉了,opencv库功能是真的全。步骤大概就是通过opencv来操控摄像头和图像,dlib用来在图像上定位,再使用opencv的函数对图像进行操纵


参考链接:

https://blog.youkuaiyun.com/junseven164/article/details/121054134

您可能感兴趣的与本文相关的镜像

Python3.10

Python3.10

Conda
Python

Python 是一种高级、解释型、通用的编程语言,以其简洁易读的语法而闻名,适用于广泛的应用,包括Web开发、数据分析、人工智能和自动化脚本

<think>好的,用户是一个编程小白,想从零开始搭建一个基于深度学习的多人脸识别系统,使用dlibOpenCV,并且希望训练自己的模型。首先,我需要理解他的需求。他可能对深度学习和人脸识别有一定的了解,但缺乏实际经验。需要从头开始指导,包括环境配置、数据准备、模型训练以及部署。 首先,我需要确定用户的环境是否已经配置好。如果没有,可能需要先指导安装Python和相关库,比如dlibOpenCV、TensorFlow或PyTorch。不过用户提到使用dlib,所以可能更倾向于dlib的HOG或CNN人脸检测器,但训练自己的模型可能需要其他框架。 接下来是数据准备。用户需要知道如何收集人脸数据集,可能推荐公开数据集如LFW或CelebA,或者自己收集图像。然后需要处理数据,包括人脸检测、对齐和归一化,这对后续训练很重要。 然后是模型训练部分。用户可能不清楚该选择哪种模型。dlib自带人脸识别模型,但用户想自己训练,可能需要使用其他框架,比如用ResNet或Facenet的结构。需要解释迁移学习或者从头训练的区别,考虑到用户是小白,可能推荐使用预训练模型进行微调,这样更容易上手。 还需要考虑训练过程的具体步骤,比如数据加载、模型定义、损失函数(如Triplet Loss)、优化器选择、训练循环等。这些都需要逐步解释,避免使用过于复杂的术语。 最后是部署,用OpenCV进行实时人脸识别,将训练好的模型应用到视频流或图像中。需要整合人脸检测(可能用dlibOpenCV的Haar级联)和识别模型,进行特征提取和比对。 可能遇到的挑战包括:安装dlib可能会因为C++依赖出现问题,特别是Windows用户;数据准备阶段的对齐和归一化步骤容易出错;训练模型需要较大的计算资源,用户可能没有GPU,导致训练时间过长;还有模型调参的问题,比如学习率、批次大小等。 需要一步步引导用户,先完成环境配置,再处理数据,然后进行模型训练,最后实现实时检测。过程中要提供代码示例,并解释每部分的作用,让用户能理解并自己操作。同时,提醒可能遇到的坑,比如路径问题、库版本兼容性等。 另外,用户可能对深度学习的理论不太了解,所以需要平衡理论和实践,侧重实际操作步骤,适当简化理论解释。例如,解释Triplet Loss时,可以用简单的话说明其目的是让同一人的特征更接近,不同人的更远,而不深入数学细节。 最后,测试整个流程是否可行,确保代码示例能运行,并给出预期结果,帮助用户调试。</think>好的!我将以**零基础角度**带你从环境搭建开始,逐步实现基于深度学习的多人脸识别系统。整个过程分为以下步骤: --- ### **一、环境搭建 (必须步骤)** 1. **安装Python** 前往[Python官网](https://www.python.org/)下载最新版(建议3.8+),安装时勾选"Add to PATH"。 2. **安装必要库** 打开终端(Windows是CMD/PowerShell,Mac/Linux是Terminal),逐行执行以下命令: ```bash pip install opencv-python # 图像处理 pip install dlib # 人脸检测和特征提取 pip install numpy # 科学计算 pip install matplotlib # 可视化(可选但推荐) ``` > 💡 Windows用户安装dlib可能报错,需先安装[VS Build Tools](https://visualstudio.microsoft.com/visual-cpp-build-tools/),选择安装"C++桌面开发"组件。 --- ### **二、数据准备 (核心步骤)** #### 1. **收集人脸数据集** - **推荐公开数据集**:LFW (Labeled Faces in the Wild)、CelebA - **自定义数据**:用摄像头拍摄或收集图片,每人至少30张不同角度/光照的照片,按文件夹分类: ``` dataset/ ├── person1/ │ ├── img1.jpg │ └── img2.jpg ├── person2/ │ ├── img1.jpg ... ``` #### 2. **数据预处理** ```python import cv2 import dlib # 初始化dlib人脸检测器 detector = dlib.get_frontal_face_detector() def preprocess_image(image_path): img = cv2.imread(image_path) gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) faces = detector(gray) # 检测人脸 if len(faces) == 0: return None # 裁剪第一张检测到的人脸 face = faces[0] x, y, w, h = face.left(), face.top(), face.width(), face.height() cropped = img[y:y+h, x:x+w] resized = cv2.resize(cropped, (150, 150)) # 统一尺寸 return resized # 遍历所有图片进行预处理并保存 ``` --- ### **三、模型训练 (关键步骤)** #### 1. **使用dlib预训练模型快速上手** ```python import dlib # 加载dlib人脸识别模型(预训练) predictor_path = "shape_predictor_68_face_landmarks.dat" # 需从dlib官网下载 face_rec_model_path = "dlib_face_recognition_resnet_model_v1.dat" # 同上 detector = dlib.get_frontal_face_detector() shape_predictor = dlib.shape_predictor(predictor_path) face_recognizer = dlib.face_recognition_model_v1(face_rec_model_path) # 提取人脸特征向量 def get_face_descriptor(img): dets = detector(img, 1) if len(dets) == 0: return None shape = shape_predictor(img, dets[0]) descriptor = face_recognizer.compute_face_descriptor(img, shape) return descriptor ``` #### 2. **自定义模型训练(以Keras为例)** ```python from tensorflow.keras import layers, models # 构建CNN模型 model = models.Sequential([ layers.Conv2D(32, (3,3), activation=&#39;relu&#39;, input_shape=(150,150,3)), layers.MaxPooling2D(2,2), layers.Conv2D(64, (3,3), activation=&#39;relu&#39;), layers.MaxPooling2D(2,2), layers.Flatten(), layers.Dense(512, activation=&#39;relu&#39;), layers.Dense(num_classes, activation=&#39;softmax&#39;) # num_classes为人数 ]) model.compile(optimizer=&#39;adam&#39;, loss=&#39;sparse_categorical_crossentropy&#39;, metrics=[&#39;accuracy&#39;]) # 训练模型 history = model.fit( train_images, train_labels, epochs=10, validation_data=(val_images, val_labels) ) ``` --- ### **四、实时人脸识别 (整合步骤)** ```python import cv2 import dlib import numpy as np # 加载模型 detector = dlib.get_frontal_face_detector() predictor = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat") recognizer = dlib.face_recognition_model_v1("dlib_face_recognition_resnet_model_v1.dat") # 加载已知人脸数据库 known_faces = { "Alice": np.load("alice_descriptor.npy"), "Bob": np.load("bob_descriptor.npy") } cap = cv2.VideoCapture(0) while True: ret, frame = cap.read() gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) faces = detector(gray) for face in faces: shape = predictor(frame, face) descriptor = np.array(recognizer.compute_face_descriptor(frame, shape)) # 计算与已知人脸的欧氏距离 min_dist = float(&#39;inf&#39;) identity = "Unknown" for name, known_desc in known_faces.items(): dist = np.linalg.norm(descriptor - known_desc) if dist < 0.6 and dist < min_dist: # 阈值可调整 min_dist = dist identity = name # 绘制框和姓名 x, y, w, h = face.left(), face.top(), face.width(), face.height() cv2.rectangle(frame, (x,y), (x+w,y+h), (0,255,0), 2) cv2.putText(frame, identity, (x, y-10), cv2.FONT_HERSHEY_SIMPLEX, 0.9, (36,255,12), 2) cv2.imshow(&#39;Face Recognition&#39;, frame) if cv2.waitKey(1) & 0xFF == ord(&#39;q&#39;): break cap.release() cv2.destroyAllWindows() ``` --- ### **五、关键问题解答** 1. **如何提高准确率?** - 增加每人训练图片数量(建议>50张) - 使用更复杂的模型(如ResNet) - 数据增强(旋转、翻转、调整亮度) 2. **模型训练需要GPU吗?** 小型数据集可在CPU训练,大型数据建议使用GPU(如Google Colab免费GPU) 3. **如何扩展为多人脸?** 上述代码已支持多人脸检测,只需在循环中处理每个检测到的人脸 --- **下一步建议**: 1.dlib预训练模型开始快速体验 2. 收集自己的数据集尝试训练 3. 调整阈值(0.6)优化识别结果 需要更详细的代码解释或遇到问题随时告诉我!
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值