MOTS: Multi-Object Tracking and Segmentation
TL;DR
本文在MaskRCNN的框架下将多跟踪任务扩展到多对象跟踪和分割同时处理的新框架(MOTS),用分割结果以像素级的mask-iou指标辅助多目标跟踪中Association过程。由于缺少MOT和Seg联合的数据,作者自己构建两个基于KITTI 和 MOTChallenge 数据集 建立了两个分割和MOT相结合的数据集,MOTS在自己的数据集上取得了比较好的效果,实时性只有2fps。
Contributions
- 数据集:目前的多目标追踪数据集只提供bbox标注,作者希望引入mask做像素级别上的追踪来达到性能上的突破,通过CNN+人工校准从bbox生成了mask,主要包括:
- KITTI训练集的21个video,目标对象是车辆和行人,12个train9个val;
- MOT17训练集的其中4个video,目标对象是行人,leaving-one-out方式;