通过飞浆paddlehub实现皮影戏

一、前言

PaddleHub是飞桨生态下的预训练模型的管理工具，旨在让飞桨生态下的开发者更便捷地享受到大规模预训练模型的价值。用户可以通过PaddleHub便捷地获取飞桨生态下的预训练模型，结合Fine-tune API快速完成迁移学习到应用部署的全流程工作，让预训练模型能更好服务于用户特定场景的应用。

通过PaddleHub提供的人体骨骼关键点检测库，完成人体骨骼关键点检测，将人体骨骼关键点进行连接，就可以获取到人体的肢体骨骼，同时映射到皮影身上，就可以得到皮影人了；将视频中连续帧进行转换，就可以实现皮影动起来的效果，只需要提供mp4视频即可实现将视频转化为皮影戏。

本项目可以通过两种途径实现，一种是线下，一种是线上。线下需要自己装在环境到电脑中，本文所使用的是通过线上运行的方式。

二、项目实现

1. 安装依赖库

安装PaddlePaddle、安装PaddleHub

python -m pip install paddlepaddle==2.0.2 -i https://mirror.baidu.com/pypi/simple
pip install PaddleHub

通过python -m pip install -U pip，更新pip版本

python -m pip install -U pip

通过pip install -U your module更新库，这里的库就是paddlepaddle

pip install -U paddlepaddle

检查更新情况,输入pip list，结果如图

2.骨骼关键点检测

代码如下：

import os
import cv2
import paddlehub as hub
import matplotlib.pyplot as plt
from matplotlib.image import imread
import numpy as np
%matplotlib inline

def show_img(img_path, size=8):
    '''
        文件读取图片显示
    '''
    im = imread(img_path)
    plt.figure(figsize=(size,size))
    plt.axis("off")
    plt.imshow(im)


def img_show_bgr(image,size=8):
    '''
        cv读取的图片显示
    '''
    image=cv2.cvtColor(image,cv2.COLOR_BGR2RGB)
    plt.figure(figsize=(size,size))
    plt.imshow(image)
    
    plt.axis("off")
    plt.show() 

#通过代码获取图片中的结果
pose_estimation = hub.Module(name="human_pose_estimation_resnet50_mpii")
result = pose_estimation.keypoint_detection(paths=['work/imgs/body01.jpg'], visualization=True, output_dir="work/output_pose/")
result

需要检测的图片：

运行代码后的图片：

3.将皮影素材映射到骨骼关键点上

皮影素材：

要实现皮影戏的效果，我们首先要解析人体各个骨骼关键点的位置信息，通过这些关键点的信息，计算人体的肢体长度，旋转角度，这样就可以将皮影的素材对应的缩放和旋转，并移动到指定位置，从而达到与人体动作同步的效果。

运行映射python程序：

def get_true_angel(value):
    '''
    转转得到角度值
    '''
    return value/np.pi*180

def get_angle(x1, y1, x2, y2):
    '''
    计算旋转角度
    '''
    dx = abs(x1- x2)
    dy = abs(y1- y2)
    result_angele = 0
    if x1 == x2:
        if y1 > y2:
            result_angele = 180
    else:
        if y1!=y2:
            the_angle = int(get_true_angel(np.arctan(dx/dy)))
        if x1 < x2:
            if y1>y2:
                result_angele = -(180 - the_angle)
            elif y1<y2:
                result_angele = -the_angle
            elif y1==y2:
                result_angele = -90
        elif x1 > x2:
            if y1>y2:
                result_angele = 180 - the_angle
            elif y1<y2:
                result_angele = the_angle
            elif y1==y2:
                result_angele = 90
    
    if result_angele<0:
        result_angele = 360 + result_angele
    return result_angele

def rotate_bound(image, angle, key_point_y):
    '''
    旋转图像，并取得关节点偏移量
    '''
    #获取图像的尺寸
    (h,w) = image.shape[:2]
    #旋转中心
    (cx,cy) = (w/2,h/2)
    # 关键点必须在中心的y轴上
    (kx,ky) = cx, key_point_y
    d = abs(ky - cy)
    
    #设置旋转矩阵
    M = cv2.getRotationMatrix2D((cx,cy), -angle, 1.0)
    cos = np.abs(M[0,0])
    sin = np.abs(M[0,1])
    
    # 计算图像旋转后的新边界
    nW = int((h*sin)+(w*cos))
    nH = int((h*cos)+(w*sin))
    
    # 计算旋转后的相对位移
    move_x = nW/2 + np.sin(angle/180*np.pi)*d 
    move_y = nH/2 - np.cos(angle/180*np.pi)*d
    
    # 调整旋转矩阵的移动距离（t_{
   x}, t_{
   y}）
    M[0,2] += (nW/2) - cx
    M[1,2