MOTR: 端到端多目标跟踪框架使用教程

MOTR: 端到端多目标跟踪框架使用教程

MOTR [ECCV2022] MOTR: End-to-End Multiple-Object Tracking with TRansformer 项目地址: https://gitcode.com/gh_mirrors/mo/MOTR

项目介绍

MOTR（Multiple Object Tracking with TRansformer）是一个基于Transformer的端到端多目标跟踪框架。该项目由megvii-research团队开发，并在ECCV 2022上发表。MOTR通过引入“track query”概念，能够直接输出视频序列中的跟踪对象，无需任何关联过程。该框架在多个数据集上表现出色，并被认为是未来研究的有力基线。

项目快速启动

环境准备

首先，确保你的环境满足以下要求：

• Linux
• CUDA >= 9.2
• GCC >= 5.4
• Python >= 3.7

推荐使用Anaconda创建虚拟环境：

conda create -n deformable_detr python=3.7 pip
conda activate deformable_detr

安装PyTorch和torchvision：

conda install pytorch=1.5.1 torchvision=0.6.1 cudatoolkit=9.2 -c pytorch

安装其他依赖：

pip install -r requirements.txt

构建MultiScaleDeformableAttention：

cd models/ops
sh make.sh

数据准备

下载MOT17和CrowdHuman数据集，并按照以下结构组织：

├── crowdhuman
│   ├── images
│   └── labels_with_ids
├── MOT15
│   ├── images
│   ├── labels_with_ids
│   ├── test
│   └── train
├── MOT17
│   ├── images
│   ├── labels_with_ids
├── DanceTrack
│   ├── train
│   ├── test
├── bdd100k
│   ├── images
│   ├── track
│   ├── train
│   ├── val
│   ├── labels
│   ├── track
│   ├── train
│   ├── val

训练和评估

训练

下载COCO预训练权重，然后在8个GPU上训练MOTR：

sh configs/r50_motr_train.sh

评估

下载预训练模型，然后评估MOT15训练集：

sh configs/r50_motr_eval.sh

在demo视频中可视化：

det.detect(vis=True)

应用案例和最佳实践

案例1：MOT17数据集上的多目标跟踪

在MOT17数据集上，MOTR表现出色，特别是在MOTA和IDF1指标上。通过端到端的训练和评估，MOTR能够有效地处理复杂场景中的多目标跟踪问题。

案例2：DanceTrack数据集上的应用

DanceTrack数据集是一个更具挑战性的数据集，MOTR在该数据集上也取得了不错的成绩。通过调整模型参数和训练策略，可以进一步提升模型性能。

典型生态项目

1. Deformable DETR

MOTR基于Deformable DETR构建，Deformable DETR是一个高效的检测框架，能够处理复杂场景中的目标检测问题。

2. FairMOT

FairMOT是另一个多目标跟踪框架，与MOTR相比，FairMOT更侧重于检测和跟踪的平衡。两者可以结合使用，进一步提升多目标跟踪的性能。

3. BDD100K

BDD100K是一个大规模的驾驶场景数据集，MOTR在该数据集上的表现也值得关注。通过与BDD100K的结合，MOTR可以应用于自动驾驶领域的多目标跟踪任务。

MOTR [ECCV2022] MOTR: End-to-End Multiple-Object Tracking with TRansformer 项目地址: https://gitcode.com/gh_mirrors/mo/MOTR