多目标跟踪数据关联的二部图解：CVPR18多目标跟踪开创性深度端到端二部图匹配佳作《Deep Learning of Graph Matching》读后有感

多目标跟踪算法的核心以及瓶颈之处，即是在得到两个set的DR（detection response，其中一个前序set可能是tracklets，但也由DR来表征）之后如何实现二部图匹配。传统的Hungarian算法和Kuhn-Munkras算法可以在最理想情况下以O（n^2）时间复杂度求解。但是在深度学习的时代，如何由DL得方式解决多目标跟踪中的data association问题，也即一个类二部图匹配问题，是有待开发的。

第一次尝试E2E用DL的途径把Data association按照一个二部图匹配问题来解的代表作可以看做A。Mlian在AAAI2017上发表的《Online Multi-target Tracking Using RNN》，其中一个LSTM被用于在Affinity Matrix的基础上生成association matrix，完成匹配。同样是在AAAI2017上，Milan还配套地发布了《Data-driven Approximations to NP hard Problems》，这一篇可以看做上一篇中关联技术的泛化和推广。

然而，Mialn的这两次尝试都可以算是不成不就，其中第一个工作是在Torch上implement的，code很messy，联系过Milan大神本人，他也明确声称算法的performance还不好，只是一次tentative的尝试。

在此之后，再鲜有用如此的工作。可能确实因为多目标跟踪问题本身spatial-temporal错综复杂的属性，再加之训练样本的匮乏（尤其是online methods），再加之implementation需要的effort比较大，导致大家不愿意在如此高产的年代死磕如此低产出的topics。。。直到刷到今年CVPR的这一神作！

本文是两位数学系作者出品，highly mathmatical，对matrix factorization和matrix back-propagation的完整推导令人叹为观止。

下接正题：

Graph matching, 狭义可以理解为二部图匹配，是在连个set之间计算一个点于点的affinity matrix，再依据于此A-matrix，得到一个1-on-1的匹配结果（permutation matrix or indicator vector）。二部图匹配在众多基于matching的领域有重要的研究价值。传统方法是利用Hungarian Algorithm or Khun-Munkres算法求解。研究这篇文章的目的在于继续推进与Shah合作的基于Deep的二部图匹配多目标数据关联文章，用本文的思想代替原先的LSTM模块。这篇文章来自CVPR2018，是据我所知第一篇有严谨推导的E2E deep graph matching。这篇文章的E2E，是由feature extractor