本文主要是关于人体的pose tracking,提出了一种基于时空的pose flow方法,将时间信息考虑进来,也就是通过分析前后若干帧的人体姿态之间的联系来完成tracking。
主要的工作分为两部分:
- PF-Builder:生成pose flow
- PF-NMS:在pose flow中应用了非极大值抑制(之前的方法大部分是在单帧图像上做NMS)
目前多人的pose tracking的方法分为两类:
- top-down:在每一帧检测人体的pproposals --> 在每一个boxes中估计keypoints --> 在整个video上track human boxes 也称之为Detect-and-Track方法
- bottom-top:在每一帧上生成关节点检测的集合 --> 构造时空图 --> 求解一个整数线性方程将该图分割对应每个人的人体姿势轨迹的子图
但是top-down的效果要明显优于bottom-top的效果,主要是bottom-top的方法没有考虑到全局的pose信息
由于视频中的遮挡、模糊以及截断等问题的影响,这篇文章提出一种帧间信息共享的方法。
基本概念
1. 帧内姿态距离
2. 帧间姿态距离