MOTS: Multi-Object Tracking and Segmentation

MOTS: Multi-Object Tracking and Segmentation

Paper URL

Code Demo

TL;DR

本文在MaskRCNN的框架下将多跟踪任务扩展到多对象跟踪和分割同时处理的新框架（MOTS），用分割结果以像素级的mask-iou指标辅助多目标跟踪中Association过程。由于缺少MOT和Seg联合的数据，作者自己构建两个基于KITTI 和 MOTChallenge 数据集 建立了两个分割和MOT相结合的数据集，MOTS在自己的数据集上取得了比较好的效果，实时性只有2fps。

Contributions

1. 数据集：目前的多目标追踪数据集只提供bbox标注，作者希望引入mask做像素级别上的追踪来达到性能上的突破，通过CNN+人工校准从bbox生成了mask，主要包括：

• KITTI训练集的21个video，目标对象是车辆和行人，12个train9个val；
• MOT17训练集的其中4个video，目标对象是行人，leaving-one-out方式；
• 共计10870个视频帧，977个不同的个体，65213个像素级mask，数据量较为充分
  2.metrics:由于加入了分割方法，重新定义了评价指标，后面将在实验中详细说明
  3.提出了Track R-C