Tracking之MTMCT：Locality Aware Appearance Metric for Multi-Target Multi-Camera Tracking

最新推荐文章于 2025-03-21 16:54:31 发布

原创最新推荐文章于 2025-03-21 16:54:31 发布 · 2.8k 阅读

18 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #计算机视觉 #行人跟踪 #行人重识别 #深度学习

论文精解同时被 2 个专栏收录

4 篇文章

订阅专栏

跟踪

1 篇文章

订阅专栏

介绍了一种新的局部邻域内目标外观度量方法，适用于多目标多摄像头跟踪，提高了DukeMTMC和CityFlow数据集上的跟踪性能。

Locality Aware Appearance Metric for Multi-Target Multi-Camera Tracking 多目标多摄像头的局部邻域内目标外观的度量 时间：2019年

Abstract: Multi-target multi-camera tracking (MTMCT) systems track targets across cameras. Due to the continuity of target trajectories, tracking systems usually restrict their data association within a local neighborhood. In single camera tracking, local neighborhood refers to consecutive frames;in multi-camera tracking, it refers to neighboring cameras that the target may appear successively. For similarity estimation, tracking systems often adopt appearance features learned from the re-identification (re-ID) perspective. Different from tracking, re-ID usually does not have access to the trajectory cues that can limit the search space to a local neighborhood. Due to its global matching property, the re-ID perspective requires to learn global appearance features. We argue that the mismatch between the local matching procedure in tracking and the global nature of re-ID appearance features may compromise MTMCT performance.
To fit the local matching procedure in MTMCT, in this work, we introduce locality aware appearance metric (LAAM). Specifically, we design an intra-camera metric for single camera tracking, and an inter-camera metric for multi-camera tracking. Both metrics are trained with data pairs sampled from their corresponding local neighborhoods, as opposed to global sampling in the re-ID perspective. We show that the locally learned metrics can be successfully applied on top of several globally learned reID features. With the proposed method, we report new stateof-the-art performance on the DukeMTMC dataset, and a substantial improvement on the CityFlow dataset.

摘要： 多目标多摄像机跟踪(MTMCT)系统跨摄像机跟踪目标。由于目标轨迹的连续性，跟踪系统通常将其数据关联限制在局部邻域内。在单摄像机跟踪中，局部邻域是指连续的帧;在多摄像机跟踪中，局部邻域是指目标可能连续出现的相邻摄像机。对于相似度估计，跟踪系统通常采用从再识别(re-ID)角度学习的外观特征。与跟踪不同的是，re-ID通常不能访问轨迹线索，而这些线索可以将搜索空间限制在一个本地社区。由于其全局匹配属性，reid透视图需要学习全局外观特性。我们认为，跟踪中的局部匹配过程与re-ID外观特征的全局性质之间的不匹配可能会影响MTMCT的性能。
为了适应MTMCT中的局部匹配过程，在本文中，我们引入了局域感知的外观度量(locality - aware appearance metric, LAAM)。具体来说，我们设计了用于单相机跟踪的相机内度量，以及用于多相机跟踪的相机间度量。这两个指标都使用从其相应的本地邻居中采样的数据对进行训练，而不是在re-ID透视图中进行全局采样。我们证明了局部学习的度量可以成功地应用于几个全局学习的reID特性之上。通过提出的方法，我们报告了DukeMTMC数据集的最新性能，以及CityFlow数据集的重大改进。

4 Overview

图1：重识别（ReID） 与多目标多相机跟踪（MTMCT） 任务之间的区别。给定一个查询，重识别在所有相机的图库中全局搜索真实的匹配图。相比之下，多目标多相机的跟踪在单摄像机跟踪（SCT） 只考虑相邻帧的匹配，在 多摄像机跟踪（MCT） 中只考虑相邻相机间的匹配。具体来说，多摄像头跟踪时，当目标出现在摄像头2中，就不考虑摄像头3，因为目标从未出现在这两个摄像头（摄像头可能太远了）。

图2：(A) 一个全局度量的学习来自整个训练集的所有数据。这个度量相当鲁棒，但有一个松弛的决策边界（经常存在错误）。（B）本文提出一个局部的学习度量，它具有较强的决策边界和敏感性。在MTMCT中，数据的关联通常存在于领域内，而不是进行重识别的全局匹配。因此局部度量学习更适合。提出的局部外观度量具有单摄像机内度量和多摄像机间度量。前者是在同一台相机内某一时间段的轨迹学习。后者通过相邻相机间进行轨迹学习（目标可能连续出现）。