Articulated pose estimation with flexible mixtures-of-parts 论文阅读摘要

一、简介

    这篇论文是2011年的时候发表的，可以推测这个工作起码在2009年底左右就开始了，也就说是属于比较早期的人体姿态估计的工作。这个文章有代码github上的，代码。文章主要采用的是传统方法做的，没有使用到深度学习，也不需要使用GPU，可以说速度上已经很快了，而且精度上也是不低的。代码我在mac上的matlab2015b没跑起来，在win10上的matlab R2016a正常运行了。

二、文章主要方法介绍

    文章所描述的“flexible mixtures-of-parts”这个模型主要是利用了parts之间的关系进行建模，一种树状结构的模型。文章中提出了两种特征表示：

    “represenations for articulated pose”：就是对于关节点之间进行配对，有一种叶子节点和父节点的关系。

    “representations for objects”：觉得以前的模型建立的太简单了，需要更复杂的编码。

    Model：

        I用来标记一张Image，Pi=(x,y)用来表示某一个part的位置，ti用来表示part i的一个附加信息。i 属于 {1~K}也就是总共K个身体parts；pi属于{1~L} 有L个原因是采用了特征金字塔，金字塔有L层；ti属于{1~T}。作者把ti叫做“part i的类型”，就像是形容手臂的时候可以说“竖直，水平”这样。

        1、定义了一个为t打分的函数：

                         

            这里两部分分别表示，局部得分总和以及配对得分总；i代表K个关节中的第几个。这属于一种type的得分，但是具体如何得到b的值，还需要研究下。个人理解是因为HOG特征需要对不同状态的part有不同的滤波filter，如手臂横着和竖着这两种状态需要两种filter，那么对于手臂这个part 就会有2张feature map。最后max一下把score得分最高的提出来就行。

        2、最终的得分的函数，对于这部分的话，后两部分我看起来还算是比较理解：

                

            这个公式的意思就是，对于每一个图片I，他的P的集合以及t的集合可以最终来得到一个score map这个map是输入图像的一定倍数缩小。公式中第一部分，就是公式（1），第二部分表示了对于每一个HOG特征去点乘W，其实就是卷积操作，在实现的时候还会加上一个bias，w和bias都是训练得到的。实际操作的时候，HOG有32层，每一层有32个feature maps，这是特征金字塔。公式中的第二部分后一项=[dx,dx^2,dy,dy^2].T  dx=xi-xj;这主要是用于描述part 之间的关系的得分。

        3、special case

            主要是去考虑T=1的这种情况。在这种情况下，部分参数就可以简化了(主要是以下几个参数)：

                           

        4、inference

            推测的时候，需要给每一个候选的part i，进行打分，这也涉及了该候选part i的kid 节点：

                        

        这里的计算过程相当复杂，很多的递归和迭代，而且w还有很多中的状态组合，时间复杂度很高，在代码中作者给了一种比较简化的版本，应该是属于special case里面。

三、训练过程

       这里下次更新，还没弄明白。

四、实验结果

       值得一提的是，作者也用自己设计的特征计算框架进行person检测：

        99.6这个结果，哪怕现在用最好的FPN结构的rcnn也怕是难以匹敌。

        作者在实验中给T的个数进行了实验，以及part个数，数据集中part只有14个标注，可以增加mid point的方式增加到27个。特征的结果显著，虽然总体结果和deep的有差距，但是deep现在在mpii和coco上都已经比较高了，我用mask rcnn在mpii上没有完全训练，已经要接近平均93map了，这基本上想要网上有大的提升很难搞，但是deep的泛化能力和鲁棒性有时候经常会出问题，这一部分传统模型做的还是比较好的。