使用单目摄像头和MediaPipe进行面部特征测距-优快云博客

转载，修正一些小错误。

近年来，由于无人机、无人车等技术的不断成熟，需要用到实时测距的场所也越来越多，如定位，避障，测速等，相比于其他测距方法，单目测距是利用一个摄像头进行视频拍摄，在图像中找到待测物体。这一系列动作，涉及到了物体的识别，相机的结构，坐标变换的一些知识，距离的获取是一个很广泛的课题，用摄像头来测距是其中一个方向，包括单目测距、双目测距、结构光测距等方法。

在这里，我们主要用一个摄像头通过建立一定的模型来解决测距的问题。

1. 安装包

python 3.7 或以上
pip install cvzone
pip install mediapipe

2.成像原理

单目摄像头的模型可以近似考虑为针孔模型，如图所示

f: 焦距

W: 目标物体的实际宽度

w: 成像后的宽度

d: 物体与相机之间的实际距离或深度

f 、d、w、W的之间的关系如下：

$\text{[math]}$

2.1 相机校准

我们的目标是计算出目标物体的距离d,但前提需要知道焦距f,焦距f的计算公式如下：

$\text{[math]}$

我们可以将一个物体放在离摄像头已知的距离d,同时我们知道实际物体的宽度W,以及呈像后的宽度w，从而上述公式计算出焦距f。

2.2 计算物体的距离d

相机校准后，焦距f的值即为已知，根据如下公式，可计算出目标物体的距离：

$\text{[math]}$

如果我们知道已知物体的W,和成像后的w,就可以实时计算出目标物体的距离d。

3 案例介绍

本文以人脸两只眼睛的距离作为目标物体的W, 由于男性两只眼睛距离为64mm，女性两只眼睛距离为62mm ，我们这里取平均值63作为人脸眼睛的距离。因此计算人脸的距离，只需知道成像后的w，即可计算出人脸离摄像头的距离d.

3.1 检测人脸

import cv2
import cvzone
from cvzone.FaceMeshModule import FaceMeshDetector
# 检测人脸
detector=FaceMeshDetector(maxFaces=1)
cap=cv2.VideoCapture(0)
while True:
success,img =cap.read()
img,faces=detector.findFaceMesh(img)
cv2.imshow("Image",img)
cv2.waitKey(1)

这里可能会有错误

AttributeError: module ‘mediapipe.python.solutions.face_mesh‘ has no attribute ‘FACEMESH_CONTOURS‘ ，进入错误文件FaceMeshModule.py改成FACE_CONNECTIONS即可

3.2 计算视频中双眼的距离

import cv2
import cvzone
from cvzone.FaceMeshModule import FaceMeshDetector
# 检测人脸
detector=FaceMeshDetector(maxFaces=1)
cap=cv2.VideoCapture(0)
while True:
success,img =cap.read()
img,faces=detector.findFaceMesh(img)
if faces:
face =faces[0]
pointLeft=face[145]     #左眼中心点坐标
pointRight=face[375]    #右眼中心点坐标
# 绘制人眼中心点并连线
cv2.line(img,pointLeft,pointRight,(0,200,0),3)
cv2.circle(img,pointLeft,5,(255,0,255),cv2.FILLED)
cv2.circle(img,pointRight,5,(255,0,255),cv2.FILLED)
w,_=detector.findDistance(pointLeft,pointRight)
print(w)
cv2.imshow("Image",img)
cv2.waitKey(1)

3.3 相机标定：计算焦距f

import cv2
import cvzone
from cvzone.FaceMeshModule import FaceMeshDetector
# 检测人脸
detector=FaceMeshDetector(maxFaces=1)
cap=cv2.VideoCapture(0)
while True:
success,img =cap.read()
img,faces=detector.findFaceMesh(img)
if faces:
face =faces[0]
pointLeft=face[145]     #左眼中心点坐标
pointRight=face[375]    #右眼中心点坐标
# 绘制人眼中心点并连线
cv2.line(img,pointLeft,pointRight,(0,200,0),3)
cv2.circle(img,pointLeft,5,(255,0,255),cv2.FILLED)
cv2.circle(img,pointRight,5,(255,0,255),cv2.FILLED)
w,_=detector.findDistance(pointLeft,pointRight)  #保持人脸到摄像头50cm下测量
# Finding the Focal Length
W=6.3 # 真实人脸间距 6.3cm
d= 50 # 保持人脸到摄像头50cm的距离
f=(w*d)/W
print(f)
cv2.imshow("Image",img)
cv2.waitKey(1)

3.4 计算人脸到相机的距离

根据上一步，相机标定的结果。假设计算出相机的焦距f

f = 560 mm

根据公式：

$\text{[math]}$

即可计算出实时的人脸到摄像头的距离.

import cv2
import cvzone
from cvzone.FaceMeshModule import FaceMeshDetector

# 检测人脸
detector=FaceMeshDetector(maxFaces=1)
cap=cv2.VideoCapture(0)

while True:
    success,img =cap.read()
    img,faces=detector.findFaceMesh(img)
    if faces:
        face =faces[0]
        pointLeft=face[145]     #左眼中心点坐标
        pointRight=face[375]    #右眼中心点坐标
        # 绘制人眼中心点并连线
        cv2.line(img,pointLeft,pointRight,(0,200,0),3)
        cv2.circle(img,pointLeft,5,(255,0,255),cv2.FILLED)
        cv2.circle(img,pointRight,5,(255,0,255),cv2.FILLED)
        w,_=detector.findDistance(pointLeft,pointRight)  #保持人脸到摄像头50cm下测量
        W=6.3 # 真实人脸间距 6.3cm
        # Finding the Focal Length
        # d= 50 # 保持人脸到摄像头50cm的距离
        # f=(w*d)/W
        # print(f)

        # Finding distance
        f = 840  # 根据相机标定的结果
        d = (W * f)/w
        print(d)
        cvzone.putTextRect(img,f'Depth:{int(d)}cm',(face[10][0]-100,face[10][1]-50),scale=2)
            
    cv2.imshow("Image",img)
    cv2.waitKey(1)