用dlib和opencv进行不同角度人脸检测及68个关键点提取(Python)

• 用dlib和opencv进行不同角度人脸检测及68个关键点提取(Python)
•  
• 摘要：用dlib和opencv进行不同角度人脸检测及68个关键点提取(Python)前几日为了在自己的单个旋转人脸数据集上复现SDMforfaceAlignment算法,研究了用dlib机器学习工具箱和opencv进行旋转人脸的检测及关键点提取,整理一下思路,希望有所帮助。1.软件要求Ubuntu(Windows应该也适用)dlibopencv2Python+Numpy具体的安装过程不作详细介绍,可能要花些时间=.=2.程序介绍话不多说,直接上代码。a)导入函数importcv2i
• 用dlib和opencv进行不同角度人脸检测及68个关键点提取(Python)

  前几日为了在自己的单个旋转人脸数据集上复现SDM for face Alignment算法,研究了用dlib机器学习工具箱和opencv进行旋转人脸的检测及关键点提取,整理一下思路,希望有所帮助。

  1. 软件要求
  • Ubuntu(Windows应该也适用)
  • dlib
  • opencv2
  • Python + Numpy

  具体的安装过程不作详细介绍,可能要花些时间 =.=

  2. 程序介绍

  话不多说,直接上代码。

  a) 导入函数

   

  import cv2import dlibimport numpyimport sysimport osfrom math import *

   

  b) 读取文件夹下的图片

   

  # 获取原始图片def getAllImg(folder): assert os.path.exists(folder) assert os.path.isdir(folder) imgList = os.listdir(folder) imgList = [item for item in imgList if os.path.isfile(os.path.join(folder, item))] return imgListimgList = getAllImg('me_1') print imgList # 打印所有的图片名

   

  得到me_1文件夹下的所有图片。

  c) 人脸检测及关键点提取

  首先,要下载dlib提供的已经训练好的关键点提取模型[链接]。因为我的人脸图片是不同角度的,所以不一定能够检测到人脸,所以当检测不到人脸时,依次旋转图片60度,再次检测,直到能够检测到人脸为止,如果旋转了360度还是检测不到人脸的话,那么认为该图片中不存在人脸。

   

  PREDICTOR_PATH = 'shape_predictor_68_face_landmarks.dat' # 关键点提取模型路径landmarks = [] # 存储人脸关键点# 1. 定义人脸检测器detector = dlib.get_frontal_face_detector()# 2. 载入关键点提取模型predictor = dlib.shape_predictor(PREDICTOR_PATH)have_face_img_num = 0 # 统计检测到人脸的图片个数print '*** Face detection start! ***' for img_name in imgList: im = cv2.imread('me_1/'+img_name) rotate_num = 0 # 旋转的次数 degree = 60 # 每次旋转的角度 while 1: rotate_num += 1 rects = detector(im, 1) # 检测人脸 if len(rects) >= 1: # 检测到人脸 have_face_img_num += 1 print ('img {}: rotating {} degree, get {} faces detected!'.format(img_name, degree*(rotate_num-1), len(rects))) row, col = im.shape[:2] if row > 600 and col > 600: # 如果图片太大,从中心位置取600×600的切片 im = im[row/2-300:row/2+300, col/2-300:col/2+300, :] rects = detector(im, 1) # 再次检测人脸框,一般还是可以检测到的,所以这里没判断 new_name = img_name.split('.')[0]+'_'+str(degree*(rotate_num-1))+'.png' # 重新命名图片,命名规则为原来的图片名+旋转角度 get_fea_points(rects, im, new_name) # 调用关键点子程序,见步骤d) cv2.imwrite('me2/'+new_name,im) # 保存图片到新的文件夹 break else: # 如果检测不到人脸 if rotate_num == int(360/degree): # 判断是否旋转完360度 print ('img {}: after rotate {} degree, No face is detected!'.format(img_name, degree*(rotate_num-1))) break # 旋转60度 rows, cols, channel = im.shape # 为了旋转之后不裁剪原图,计算旋转后的尺寸 rowsNew=int(cols*fabs(sin(radians(degree))) + rows*fabs(cos(radians(degree)))) colsNew=int(rows*fabs(sin(radians(degree))) + cols*fabs(cos(radians(degree)))) M = cv2.getRotationMatrix2D((cols/2, rows/2), degree, 1) # 旋转60度的仿射矩阵 M[0,2] +=(colsNew-cols)/2 M[1,2] +=(rowsNew-rows)/2 im = cv2.warpAffine(im, M, (colsNew, rowsNew), borderValue=(255,255,255)) # 旋转60度,得到新图片print ('*** success: {} / {}  ***'.format(have_face_img_num, len(imgList)))

   

  d) 保存68个关键点的子函数并依次显示

  将检测到的每张人脸的68个特征点保存到一个pts文件中。

   

  def get_fea_points(rects, im, new_name): global landmarks feas = [] # 关键点 fea_file_name = new_name[:-3] + 'pts' # pts文件名为旋转后图片名称.pts fea_file = open('me2/'+fea_file_name, 'a') # 新建pts文件 fea_file.write('version: 1'+'/n'+'n_points: 68'+'/n'+'{'+'/n') # 写入文件头部信息 for i in range(len(rects)): # 遍历所有检测到的人脸(我的是单个人脸) landmarks = numpy.matrix([[p.x, p.y] for p in predictor(im, rects[i]).parts()]) im = im.copy() # 使用enumerate 函数遍历序列中的元素以及它们的下标 for idx, point in enumerate(landmarks): pos = (point[0,0], point[0,1]) # 依次保存每个关键点 feas.append(pos) # 在图上画出关键点 cv2.circle(im, pos, 3, color=(0,255,0)) for pos in feas: fea_file.write(str(pos[0])+ ' '+ str(pos[1])+'/n') # 写如特征点到pts文件 fea_file.write('}') # 写pts文件尾部 fea_file.close() cv2.namedWindow("im", 2) # 显示标记特征点的图片 cv2.imshow("im", im) cv2.waitKey(0) 

   

  3. 实验结果

  读取原始图像,如果不能检测到人脸,依次旋转该图片以便检测到人脸,检测到人脸之后进行特征点提取:

                                  原图                                                                   旋转60度后的图                                                        关键点标记图