End-to-End Learning of Deformable Mixture of Parts and Deep Convolutional Neural Networks for Human

1、文章整体类似[3][4]两篇文章

2、作者指出在训练的时候经常会出现没有标注的人体部位预测了出来，这种情况对于错误反传是有影响的，原因是因为没有考虑整体人体的关机位置关系

                                

[4]这篇文章提出了用DCNN和deformable model结合在一起的方式进行训练，能够灵活的处理tree，star和loopy的结构

文章的主要贡献三个

1）新的消息传递层，能够灵活的构建树结构和loopy结构

2）端到端的DCNN和deformable的学习，在学习特征和part deformation的同时会挖掘困难样本

3）Domain知识能够融入到整个框架，通过平方变形约束降低了部位间的参数空间

作者提到了之前的一些MRF的工作，他们的卷积核过大不易学习，还有[3][4]两篇文章的思路，也是特征和关系的学习，但是他们的学习是分开的

                                  

参数化的变形约束并没有考虑表观mixture，因此不能够处理关节部位间的复杂关系，一旦关系复杂起来，就没有办法处理了，表观mixture，作者在后面也有提到过

3、正文

整个人体用来表示，是关节点的数量，是每个关键点的位置

t代表的是mixture类型，一共有Ti个

3.1 部位表观项

给定一个li为中心的patch，unary项就是这个patch属于mixture type中的哪一个类型，作者在后面提到这里Ti个数设置为13，也即每一个部位会有13个聚类中心，是网络的输出，然后经过softmax进行非线性映射，

最后

                               

获得最后的unary项

3.2 空间关系项

也即部位间的关系这一项，，其中是变形项，便是它的具体形式，便是4维的权重值，用来喝变形项进行点积。

4 推理

整个的推理的目的，找到每个关节的位置以及所处的mixture type。怎么来做这个推理呢？首先输入图像获得，然后输入到消息传递网络里面获得最终的推理结果。

4.1 消息传递

消息传递采用max-sum算法，max-sum算法被广泛地应用在了图模型的推理上了在每一个iteration中，每个节点也即每个关节向周围的相邻关节传递消息，同时接受来自相邻关节的消息。

                                    

来看一下消息传递的示意图

怎样获得最终的推理结果呢？

这样每个部位的位置和所属的空间关系类型都是确定的。都是通过上面获得的。作者这里构建的消息传递曾对于loopy和tree结构都是适用的。

一共有两种方式组织消息传递，flood和serial，作者最终按照公式（5）（6）进行构建。最后的belief是一张关于ti的feature map。尽管需要很多次迭代，作者这里只用了三层迭代，在第一轮中脖子仅仅会收到来自头部和肩膀的消息，在第二轮则会收到来自臀部和四肢的消息传递

5训练！！！！！！！！！！！！！！

作者采用[3][4]的思路进行构建

5.1 首先以patch为例训练DCNN，每一个patch都会有对应的mixture type。现有的数据集是没有mixture type的，作者做了个聚类来实现，r_ij是部位i和j的相对位置，我们聚类成Ti个中心。每个聚类中心都是一个关节部位对应的mixture type。mixture类型和表观类型很相关，例如竖起来的胳膊和横着的胳膊很不一样，pretrain这一步是不能去掉的，否则不收敛呢

5.2 然后来训练整个网络，作者只在消息传递层的最后一层做了监督

取最大可能性的mixture type的feature map也即取某个部位的Ti张map这里是13张map中结果最大的一张作为最终的map

是一系列的feature map而不是一张，最后一个iteration要在这里取max的，一共有Ti个，这里取13

最后一个迭代的损失这里不予讨论，反向传播类的思想。

6 作者的参数设置等

6.1 数据扩增

6.2 PCP和PDJ评测标准的定义

6.3 Ti取值13，所以会产生张map(所有部位的map数量)，加上背景

树结构的人体构建和loopy的人体构建的不同是

这是loopy

这是树结构