使用飞桨Paddlehub实现皮影戏

使用飞桨Paddlehub实现皮影戏

前沿
1、安装模型
1）安装PaddlePaddle
2）安装PaddleHub
3）安装人体骨骼关键节点检测模型
2、测试及拼接皮影素材
1）检测是否安装成功
2）拼接皮影素材
3、实现皮影戏

前沿

飞桨(PaddlePaddle)是集深度学习核心框架、工具组件和服务平台为一体的技术先进、功能完备的开源深度学习平台，已被中国企业广泛使用，深度契合企业应用需求，拥有活跃的开发者社区生态。提供丰富的官方支持模型集合，我们这里将要使用到其中的骨骼节点检测模型，通过PaddleHub提供的人体骨骼关键点检测预训练模型，我们就可以快速实现皮影戏的效果。

PaddleHub可以便捷地获取PaddlePaddle生态下的预训练模型，完成模型的管理和一键预测。配合使用Fine-tune API，可以基于大规模预训练模型快速完成迁移学习，让预训练模型能更好地服务于用户特定场景的应用。

人体骨骼关键点检测(Pose Estimation)是计算机视觉的基础性算法之一，在诸多计算机视觉任务起到了基础性的作用，如行为识别、人物跟踪、步态识别等相关领域。具体应用主要集中在智能视频监控，病人监护系统，人机交互，虚拟现实，人体动画，智能家居，智能安防，运动员辅助训练等等。该模型的论文《Simple Baselines for Human Pose Estimation and Tracking》由 MSRA发表于 ECCV18，使用 MPII 数据集训练完成。

思路：通过PaddleHub完成人体骨骼关键点检测，将人体骨骼关键点进行连接，就可以获取到人体的肢体骨骼，在骨骼肢体上覆盖皮影素材，就可以得到皮影人了。将视频中连续帧进行转换，就可以实现“皮影戏”的效果。

环境：
python3.7.9、pip21.1、PaddlePaddle2.0.2、human_pose_estimation_resnet50_mpii 1.1.1

1、安装模型

先使用快捷键【win+R】输入cmd后打开命令行，然后按以下步骤在命令行输入命令进行逐一安装。

1）安装PaddlePaddle

python -m pip install paddlepaddle==2.0.2 -i https://mirror.baidu.com/pypi/simple

2）安装PaddleHub

pip install PaddleHub

3）安装人体骨骼关键节点检测模型

hub install human_pose_estimation_resnet50_mpii==1.1.1

2、测试及拼接皮影素材

1）检测是否安装成功

选取一张含有人体姿态的作为输入，检测人体骨骼关键点信息。
①代码如下：

import os
import cv2
import paddlehub as hub
import matplotlib.pyplot as plt
from matplotlib.image import imread
import numpy as np

def show_img(img_path, size=8):
    im = imread(img_path)
    plt.figure(figsize=(size, size))
    plt.axis("off")
    plt.imshow(im)

def img_show_bgr(image, size=8):
    image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
    plt.figure(figsize=(size, size))
    plt.imshow(image)

    plt.axis("off")
    plt.show()

pose_estimation = hub.Module(name="human_pose_estimation_resnet50_mpii")
result = pose_estimation.keypoint_detection(paths=['imgs/01.jpg'], visualization=True, output_dir="output_pose/")
print(result)

②打开output_pose文件夹会发现多出一张图片为检测图片骨骼节点图，若安装成功的话，结果如下图所示：

2）拼接皮影素材

①代码如下：

import os
import cv2
import paddlehub as hub
import matplotlib.pyplot as plt
from matplotlib.image import imread
import numpy as np


def show_img(img_path, size=8):
    '''
        文件读取图片显示
    '''
    im = imread(img_path)
    plt.figure(figsize=(size, size))
    plt.axis("off")
    plt.imshow(im)


def img_show_bgr(image, size=8):
    '''
        cv读取的图片显示
    '''
    image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
    plt.figure(figsize=(size, size))
    plt.imshow(image)

    plt.axis("off")
    plt.show()


show_img('imgs/01.jpg')


def get_true_angel(value):
    '''
    转转得到角度值
    '''
    return value / np.pi * 180


def get_angle(x1, y1, x2, y2):
    '''
    计算旋转角度
    '''
    global the_angle
    dx = abs(x1 - x2)
    dy = abs(y1 - y2)
    result_angele = 0
    if x1 == x2:
        if y1 > y2:
            result_angele = 180
    else:
        if y1 != y2:
            the_angle = int(get_true_angel(np.arctan(dx / dy)))
        if x1 < x2:
            if y1 > y2:
                result_angele = -(180 - the_angle)
            elif y1 < y2:
                result_angele = -the_angle
            elif y1 == y2:
                result_angele = -90
        elif x1 > x2:
            if y1 > y2:
                result_angele = 180 - the_angle
            elif y1 < y2:
                result_angele = the_angle
            elif y1 == y2:
                result_angele = 90

    if result_angele < 0:
        result_angele = 360 + result_angele
    return result_angele


def rotate_bound(image, angle, key_point_y):
    '''
    旋转图像，并取得关节点偏移量
    '''
    # 获取图像的尺寸
    (h, w) = image.shape[:2]
    # 旋转中心