weixin_42923416的博客

由CenterNet伸展过来，通过在原CenterNet模型上，输入增加4通道(上一帧图像和检测结果)，输出增加2通道(位置偏移)。通过位置偏移和上一帧的对象关联起来，实现多目标跟踪CenterNet一个Anchor free的目标检测模型，把目标视为一个点。当训练时的位置label为以物体中心为均值的高斯分布(方差与物体大小有关)。当存在多个对象时，其label取较大值的那个。因此其labelY∈[0,1]WR×HR×CY\in [0,1]^{{W\over R} \times {H \over R

多目标跟踪的几个难点：重识别对象模糊，运动预测相邻帧关联里，存在对象的漏检、误检、拥挤等(导致关联的精度在过去两年里只提高了2.4% MOT16(相对论文时间))贡献：利用检测器的回归Head处理多目标跟踪；提出re-ID模型(Siamese Network)和运动模型(运动估计)整体框架框架即为Faster-RCNN，通过一些策略来实现目标跟踪。其本身就是一个二阶段的检测框架。对于第 t 帧，按照 t - 1帧的位置(boxt−1box_{t-1}boxt−1​)，当作ROI提

最开始的SiamFC等。是基于相似性的目标跟踪。这个和传统方法里的KCF等是很像的。输入的template和Search分别输入到同一个网络里提取特征。而后做Correlation找max response。这种基于相似性的方法带来的2个限制平移不变性：因为template是通过滑窗在Search上求取响应。而padding会破坏这种平移不变性。但是不加padding就限制了网络深度。对称性：Template和Search互换后应该具有相同的Response。因此SiamFC网络很浅，训练时S