【OpenMMLab】人体姿态估计、关键点检测与MMPose

系列文章目录

第一课：【OpenMMLab】OpenMMLab概述

---

---

前言

【OpenMMLab】OpenMMLab概述 为大家介绍了通用视觉框架 OpenMMLab 中具有代表性的算法库，如MMPretrain、MMDetecton、MMDetection3D、MMRotate、MMSegmentation、MMPose、MMAction2、MMOCR、MMagic、MMYOLO等。
本篇博客将深入了解人体姿态估计（或关键点检测）算法，以及OpenMMLab 开源的用于关键点检测的算法库 MMPose 。

一、人体姿态估计或关键点检测任务

任务介绍

给定一张图片，任务要求检测图像中人脸、手部、身体等部位的关键点。
输入： 图像 I
输出：所有关键点的像素坐标$(x_1,y_1),(x_2,y_2)\dots (x_J,y_J)$，这里的J为关键点的总数，取决于具体的关键点检测任务和模型。

关键点检测可以预测人体关键点在三维空间中的坐标$(x,y,z)$，进而在三维空间中还原人的姿态。

下游任务

PoseC3D: 基于人体关键点识别行为动作。这项工作已被开源在 MMAction2 中。

CG、动画: 基于3D人体关键点检测，根据人体姿态，表情姿态的关键点的变化驱动动画人物的动作

除此之外，还有很多有趣的应用：

1. 人机交互：通过识别人手部的动作和姿态去控制其他物体；
2. 动物行为分析：检测动物关键点，分析动物的行为

二、2D 姿态估计

在图像中定位人体关键点（通常为人体主要关节）的坐标，如臀部、颈部和左右手坐标等。

基本思路1：基于回归 (Regression Based)

关键点检测问题可以认为是一个回归问题，输入一张图片，让模型回归关键点的坐标，即$$(x_1,y_1,x_2,\dots ,x_J,y_J)=f_{\Theta }(I)$$通常深度学习模型直接回归坐标有些困难，精度不是最优

基本思路2：基于热力图 (Heatmap Based)

基于热力图的方法，并不是直接的回归关键点的坐标，而是预测关键点位于每个位置的概率，即
$$H_{1\dots J}=f_{\Theta }(I)$$
其中， H j ( x j , y j ) = 1 H_j(x_j, y_j)=1 H