提出一种组合模型,表示人体各部分的层次关系3,有利于解决low-level的模糊问题。

主要的思路是这样的:单个关节点是lowest-level part, 通过组合,形成各个层次的high-level part, 如上图(a)。在bottom-up过程中, 首先在输入图像中粗略估计lowest-level信息, 再依次迭代的估计high-level信息。 在top-down过程中,low-level信息可以通过high-level的信息估计, 当然也需要依靠同级的信息(bottom-up中获得)。这可以在(c)图看出。
为了解决组合爆炸的问题, 文中提出bone heatmap。他包含了scale, orietation等信息,同时降低了组合复杂度。
实际模型采用hourglass作为baseline, 5个stacks。整体实现比较hourglass改动不大。
可以借鉴的点:
1. 利用人体部位的层次信息, high-level的信息对low-level的问题解决有帮助;
2. bone-based 的监督, 这种heatmap包含方向、尺度等有益信息, 对遮挡等问题解决有帮助。
博客提出一种组合模型表示人体各部分层次关系,利于解决low-level模糊问题。介绍了bottom-up和top-down过程的信息估计方法,还提出bone heatmap解决组合爆炸问题。实际模型以hourglass为baseline,可借鉴利用人体层次信息及bone-based监督解决问题。
6892

被折叠的 条评论
为什么被折叠?



