xiaoxu的博客

首先第一点先说明了问题。许多现有的多目标跟踪（MOT）方法倾向于单独建模每个目标的特征在视点变化剧烈和遮挡情况下，目标的当前特征与历史特征可能存在显著差异，容易导致目标丢失。意味着每个目标的视觉特征（如外观、运动等）是独立处理的。这种方法忽略了目标之间可能存在的关系或交互信息。例如，每个目标的特征会被看作是一个独立的实体，不会考虑目标之间的相互影响或者在跟踪过程中可能的相关性通过这个问题自然而然的就能引出图结构或者说拓扑结构的应用场景。

从评论区作者的问答中看到了，图嵌入就是对节点的信息进行嵌入操作的，如果我们想要对节点的信息得到全图的特征表示就要去学习一下全图的特征工程。通过这里来掌握一下从节点的嵌入到整图的嵌入除了我自己指标不太行的取一个平均的操作之前的工作中有没有一些其他的实现算法呢？这里的一个思想是把全图的一个节点的数量作为整体的一个向量，但是根据和自己的任务需求这里有点不太匹配。也就是可以简单的说，当我们的上游的嵌入向量表示的合理的时候，下游的任务才能更加顺利的去进行下去。是一种分布式的表示，这个向量是与下游的任务是无关的。

算法的作用：使用图神经网络解决图相似性计算的问题，看介绍上描述的是输入两个图，输入是两个图之间的相似性程度。首先，设计了一个可学习的嵌入函数，将每个图映射到一个嵌入向量，从而提供图的全局总结。提出了一种新的节点注意机制，根据特定的相似性度量来强调重要节点。可学习的嵌入函数 (Learnable embedding function)"可学习"指的是这个函数的参数是可以通过训练过程优化的。也就是说，嵌入函数本身不是一个固定的数学公式，而是一个可以根据数据和任务要求自动调整的模型。

短期关联（Short-term association）：指的是在没有被遮挡的情况下，跟踪对象的任务。即对象始终处于视野内，并且跟踪算法通过对象的特征来持续关联它们。指的是对于被遮挡（即不在视野内）并且之后重新出现在场景中的对象进行跟踪。这是一个更具挑战性的问题，因为对象可能在遮挡期间消失，导致跟踪算法失去对象的相关信息，需要重新识别和关联这个对象。摘要中提到的主要要解决的问题是：短期对象关联和长期对象关联。针对这些任务，现有的方法通常是专门设计的，并且分别解决特定问题。

SuperGlue是一个神经网络，它的作用是通过联合地寻找匹配点和排除无法匹配的点，来匹配两组局部特征这个地方实际上是特征匹配任务和SLAM任务中常用的一个部分。考虑的是做方法的迁移。它通过解一个可微的最优运输问题来估计运输成本，其成本由图神经网络来预测和匈牙利算法这种二部图匹配的问题是很类似的一种问题。SuperGlue引入了一种基于注意力机制的灵活上下文聚合方法，使其能够同时考虑3D场景的结构和特征分配。

首先，我们设计了动态图到点（DGTP）模块来学习点云局部图的特征表示，以提高局部特征的识别能力。然后，通过和引入的边缘阈值λ动态建立边缘，并使用图注意网络提取点云的全局特征以考虑拓扑结构中相似特征之间的关系。同时，从节点本身、局部和全局三个维度计算分数，并求和以进行关键点检测。最后，提出了一种两阶段图匹配方法，将具有高度相似特征的关键点分为不同的点组，并在第一阶段图匹配中建立点组的对应关系。在第二阶段的图匹配中建立了对应点群中的点的对应关系，从而减少了相似特征对点云配准精度的影响。

这里介绍的时空关系可能是从师姐那里得到的启发。大多数现有方法使用单独的神经网络来生成目标边界框内数据关联的鲁棒特征。与仅考虑每个目标和独立形成的轨迹而忽略轨迹和帧内检测之间的上下文信息的现有方法不同，本文提出了一种将多通道特征与可学习图匹配相结合的跟踪算法。使用全局和局部显著特征来基于并行图对帧内目标的外观进行建模，并使用轨迹和检测之间完全无向的图关系来挖掘高阶上下文内关系。老师发我这篇论文的原因也是因为在深入的了解一下并行图的方法。

跨帧数据关联是多目标跟踪（MOT）任务的核心。作者发现了存在的两个主要的核心问题包括了现有方法大多忽略轨迹和帧内检测之间的上下文信息，这使得跟踪器难以在严重遮挡等具有挑战性的情况下生存。端到端关联方法仅依赖于深度神经网络的数据拟合能力，而几乎没有利用基于优化的分配方法的优势。基于图的优化方法大多利用单独的神经网络来提取特征，这带来了训练和推理之间的不一致。提出了一种新颖的可学习图匹配方法来解决这些问题。将轨迹和帧内检测之间的关系建模为通用无向图。