提出一种组合模型,表示人体各部分的层次关系3,有利于解决low-level的模糊问题。
主要的思路是这样的:单个关节点是lowest-level part, 通过组合,形成各个层次的high-level part, 如上图(a)。在bottom-up过程中, 首先在输入图像中粗略估计lowest-level信息, 再依次迭代的估计high-level信息。 在top-down过程中,low-level信息可以通过high-level的信息估计, 当然也需要依靠同级的信息(bottom-up中获得)。这可以在(c)图看出。
为了解决组合爆炸的问题, 文中提出bone heatmap。他包含了scale, orietation等信息,同时降低了组合复杂度。
实际模型采用hourglass作为baseline, 5个stacks。整体实现比较hourglass改动不大。
可以借鉴的点:
1. 利用人体部位的层次信息, high-level的信息对low-level的问题解决有帮助;
2. bone-based 的监督, 这种heatmap包含方向、尺度等有益信息, 对遮挡等问题解决有帮助。