JDE 《Towards Real-Time Multi-Object Tracking》学习笔记

论文链接：https://arxiv.org/pdf/1909.12605.pdf
代码链接：https://github.com/Zhongdao/Towards-Realtime-MOT
翻译链接：https://blog.youkuaiyun.com/weixin_42907473/article/details/104407606

  该方法是基于YOLOv3和MOTDT做的。它网络前面都和YOLOv3一样的，主要就是在特征图里多提取了一个嵌入（embedding）向量，采取的是类似于交叉熵的triplet loss。因为是多任务学习，这篇论文还用了一篇18年的论文提出来的自动学习损失权重方案：通过学习一组辅助参数自动地对非均匀损失进行加权。最后的结果是精度上基本达到了SOTA（略低一些），而FPS则比其他的都高了很多。这是目前开源模型里面速度和精度的trade off做的最好的一个模型。
 

1.驱动本文的核心思想：

现有问题：
  现在的MOT系统通常使用tracking-by-detection的方式。这种方式有：1）用于目标定位的检测模型，2）用于数据关联(data association)的外观嵌入模型(appearance embedding model)。两个模型分开执行可能会导致效率问题，其运行时间只是简单的将两个结构的运行时间加起来，而没有去探究它们之间可能某些结构可以共享的潜在可能性。现有的实时MOT的方法主要研究association step，所以这些方法事实上只是实时association model而不是实时MOT系统。
解决方案：
  在本文中，作者提出了一个将目标检测和外观嵌入共享结构学习的MOT模型。具体而言，作者将外观嵌入模型合并到single-shot detector中，以便