姿态识别入门 DeepPose: Human Pose Estimation via Deep Neural Networks

研究背景

人体姿态识别被定义为人体关键点的定位问题，一直以来是计算机视觉领域的重要关注点。这一问题有着一些常见的挑战，比如各式各样的关节姿态，小得难以看见的关节点，遮蔽的关节点，需要根据上下文判断的关节点，而这个领域主流的工作是各式样的关节姿态。
此前的姿态估计都是基于局部的为关节建模，这种方式对于表示能力是很有局限性的，因为它使用局部探测器，只能是为身体关节点之间所有关系的部分子集建立模型，很有局限性。于是作者提出了以整体的方式来预测人体关节点的方法，使用DNN强大的性能来处理人体关节点的预测。DNN有着强大的分类和定位能力，在此之前并没有人来使用DNN（Deep Neural Networks）对人体关节点的定位，作者Alexander Toshev和Christian Szegedy是第一个DNN应用于人体关节点检测的人。

作者将人体姿态估计定为关节点回归的问题，并且给出了如何将DNN用于人体关节点回归的方式，每一关节点的定位使用一整幅图像输入到7层CNN来做回归，这种做法又两个优点：

1. DNN可以捕获每个人体关节点的全部上下文信息，每一个关节点回归都使用一整张图像的信息。
2. 深度学习的方法特比容易实现，不需要显式地设计特征提取器和局部探测器，不需要为关节点建立拓扑结构和关节间的关系，通用的CNN可以用来解决这些问题。

更进一步，作者使用级联的DNN-based 姿态检测器。这种级联的检测器能够增加关节点定位的精确度。首先在一整幅图像上进行粗略的姿态估计，然后使用多个DNN-based 回归器对关节点的邻域子图像（有更高的分辨率）优化预测结果。

DNN for Pose Estimation

数学表示

人体的一个姿态可以用$k$个人体关节点的位置来表示，表示为向量
y=(⋯ ,yiT,⋯ )T,i={1,⋯ ,k} y = (\cdots, y_i ^ T, \cdots)^T, i = \{1, \cdots, k\} y=(⋯,yiT​,⋯)T,i={1,⋯,k}
$y_i$表示第$i$个关节点的坐标，一个带有标签的图像表示为$(x,\text{y})$，检测框$box$由$b=(b_c,b_w,b_h)$表示，$b_c$表示预测之后关节点的位置，表示需要剪裁图像的中心，$b_w$表示图像的宽，$b_h$表示图像的高，并且使用
$$N({\text{y}}_i,b)=\left(\begin{array}{cc}1/b_w& 0\\ 0& 1/b_h\end{array}\right)({\text{y}}_i-b_c)\text{\hspace{1em}(1)}$$
将每个关节点的图像用这个$box$的绝对坐标转换为相对坐标，并且将关节点$y_i$标准化（这里的标准化也会将关节点周围的坐标相对化），例如$\text{N}(x)$表示将整幅图像标准化，就是将坐标原点移到图像中心位置，$\text{N}(x;b)$就是用$box(b_c,b_w,b_h)$截取图像$x$对应部分，并且在$box$做标准化处理。$N(\text{y};b)=(\cdots ,N({\text{y}}_i;b{)}^T,\cdots {)}^T$表示对每个关节点都进行$boxb$的标准化处理。
作者将姿态估计当做回归问题来解决的，作者使用$\psi (x;\theta )\in {\text{R}}^{2k}$表示一个模型对图像$x$处理的标准化姿态向量，用下公式表示对预测的姿态向量的绝对坐标表示：
$$y^{\ast }=N^{-1}(\psi (N(x);\theta ))\text{\hspace{1em}(2)}$$
由公式（2）知，应当也对训练集进行标准化处理:
DN={f(N(x),N(y)∣(x,y)∈D}(3) D_N = \{ f(N(x),N(\textbf{y})|(x, \textbf{y})\in D\} \tag{3} DN​={f(N(x),N(y)∣(x,y)∈D}(3)
所使用的损失函数是L2损失，那么模型可以写为：
$$\underset{\theta }{\mathrm{argmin}}\sum _{(x,y)\in D_N}\sum _{i=1}^k||\text{y}-\psi (x;\theta )|{|}^2\text{\hspace{1em}(4)}$$

模型框架

模型结构：
$C(55\times 55\times 96)-LRN-P-C(27\times 27\times 256)-LRN-P-C(13\times 13\times 384)-C(13\times 13\times 256)-P-F(4096)-F(4096)$
作者使用的CNN回归损失而不是分类损失，预测的关节点和GroundTruth的L2-Loss。由于训练数据量，模型参数很多，所以对图像做了简单数据增强以增加数据量。
初始阶段是可以粗略得到关节点的大概位置，它是基于整幅图像进行上下文推理的，但是它的尺寸被固定到了$220\times 220$，而一般数据集里的图片大小都比较大，所以输入的时候会对图像进行下采样，这样的操作使得细节丢失，继而想要优化关节点的位置相对不够精确，但又不能增大图像的尺寸，因为会增加大量的参数和计算量。
为了得到更好的准确率，作者训练了一个级联的姿态回归器。在第一个阶段，先粗略估计出上个部分的姿态轮廓，在下一阶段不断优化关节点的位置。
每一步都使用已经预测的关键点来取出基于这个关键点的邻域，这个子图像将被用于接下来的网络输入，而接下来的网络就会看到更高清的图像从而获取跟多的细节信息，从而达到更高的准确率。
为了优化姿态，作者定义了一个回归框$box{b}_i$用于从整个图像上获取$y_i$的邻域子图像$b_i(\text{y};\sigma )=({\text{y}}_i,\sigma diam(\text{y}),\sigma diam(\text{y}))$，其中，姿态估计$diam(\text{y})=$对立的关节点之间的距离，具体取决于数据集和相关的姿态定义。
根据以上可以写出初始阶段或者第一阶段的预测姿态，其中$b^0$表示整个图像：
$$stage1:y^1\leftarrow N^{-1}(\psi (N(x;b^0);{\theta }_1);b_0)\text{\hspace{1em}(5)}$$
后面的阶段就是使用局部图像，即预测关节点邻域的图像，每个关节点会做一次回归。
$$stage2:y_i^s\leftarrow N^{s-1}({\psi }_{i}N(x;b);{\theta }_s);b)\text{\hspace{1em}(6)}$$
$$forb=b_i^{(s-1)}$$
$$b_i^s\leftarrow (y_i^s,\sigma diam(y^s),diam(y^s))$$
每个关键点$y_i$对应一个边框$b$，每个边框$box$都不一样，而且每个预测图像的中心都是取决于上个预测的关节点的坐标，因为深度学习有着强大的学习能力（为了防止过拟合），作者不是简单的使用预测后的数据，而是做了中间数据增强的处理，利用预测点在其邻域内生成多个关节点。该邻域使用的是二维高斯分布${\mathcal{N}}^{(s-1)}$，均值和方差来源于$(y_i^{s-1}-y)$，所有样本数据的预测和GroundTruth的差的方差和均值。这里使用$\delta$表示从${\mathcal{N}}^{(s-1)}$取出的样本，同样，这里的$\delta$使用的是相对坐标。
DAs={(N(x;b),N(yi,b))∣(x,yi)∼D,δ∼N(s−1)b=(yi+δ,σdiam(y))} D^s_A=\{(N(x;b),N(\textbf{y}_i,b))|\\(x,\textbf{y}_i)\sim D,\delta \sim \mathcal{N}^{(s-1)} \\b=(\textbf{y}_i+\delta , \sigma diam(\textbf{y})) \} DAs​={(N(x;b),N(yi​,b))∣(x,yi​)∼D,δ∼N(s−1)b=(yi​+δ,σdiam(y))}
在（4）模型的基础上进行修改，模型（4）表示为第一阶段的过程，（8）为后面阶段的过程。
$${\theta }_s=\underset{\theta }{\mathrm{argmin}}\sum _{(x,{\text{y}}_i)\in D_A^S}||{\text{y}}_i-{\psi }_i(x;\theta )|{|}^2\text{\hspace{1em}(8)}$$

实验评估

setup

训练集

FLIC（Frames Labeled In Cinema）：4000 训练图像 ；1000 测试图像； 10个上身关键点
LSP（Leeds Sports Dataset）： 11000 训练 1000 测试； 14个全身关键点

Metrics：

Percentage of Correct Parts (PCP) –> Percent of DetectedJoints (PDJ)
如果两个预测的关节位置与真实肢体关节位置之间的距离最多为肢体长度的一半，则认为肢体被检出PCP是最初用于评估的首选度量，但是它具有惩罚较短的肢体（如下臂）的缺点，这些肢体通常较难检测。–> 为了解决此缺点，最近使用不同的检测标准报告了关节的检测率-如果预测的关节与真实的关节之间的距离在躯干直径的一定范围内，则认为已检测到关节。 通过改变该分数，可以获得针对不同程度的定位精度的检测率。 该度量标准减轻了PCP的缺点，因为所有关节的检测标准都基于相同的距离阈值。 我们将此度量标准称为“检测到的接头百分比”（PDJ）

实验结果