csdn_xmj的博客

机器人和 UI 导航数据的标注非常标准化，集中于通用的操作任务（“将 x 物体放置在 y 物体上”）和通用的 UI 导航任务（“点击搜索按钮”）。然而，我们对执行特定任务的人物视频数据进行了详细的数据反思。在这些视频中，我们的核心推论是任务执行时物体的运动轨迹。

我们将创建一个检测图像中对象的简单模型。我们将使用一个 PyTorch 训练的模型 Faster R-CNN，该模型具有 ResNet-50 主干和特征金字塔网络 (FPN)。该架构因其在对象检测任务中的有效性而受到广泛认可。

计算机视觉领域正在迅速发展，尤其是随着生成式人工智能的出现，它正在推动该领域的进一步发展。当我们考虑检测物体时，通常首先想到的是物体检测。但为了获得更好的结果，应该考虑使用物体跟踪。这种方法不仅可以检测物体，还可以随着时间的推移跟踪它们，为每个物体分配唯一的 ID，以获得更准确、更全面的结果。

Meta 的 CoTracker3 最近以一种新的点跟踪方法进入了 AI 领域，这是计算机视觉的核心任务。无论是跟踪视频中跨帧的点、分析运动镜头，还是处理遮挡和快速移动，CoTracker3 都能使工作更轻松、更快速、更准确。该模型基于 TAPIR 和 BootsTAPIR 等早期版本构建，但因使用伪标记来提高性能而脱颖而出。

DINO-X是一个统一的以对象为中心的视觉模型，支持各种开放世界感知和对象级理解任务，包括开放世界目标检测和分割、短语定位、视觉提示计数、姿态估计、免提示目标检测和识别、密集区域标题生成等。

物体跟踪，特别是动物跟踪，是因其在理解动物行为和监测方面的益处而受到广泛关注的关键话题。最近最先进的跟踪方法基于深度学习架构进行目标检测、外观特征提取和跟踪关联。

在本文中，作者提出一种名为FMRFT的实时鱼跟踪模型，该模型基于 Query -时互动，将Mamba在Mamba(MIM) 和 RT-DETR 框架集成，以解决复杂场景中遮挡和冗余检测帧的问题。该模型利用了 MIM 和 RT-DETR 融合框架的低图形内存占用。鉴于鱼和场景之间的相似度较高以及场景中存在干扰物，作者介绍了一种新型的特征提取框架 Fusion MIM，该框架设计用于深入提取鱼特征。针对单一鱼的多重重叠冗余跟踪帧问题，作者开发了一种新颖的 Query -时互动模块和基于 MIM 的特征互动模

​上一篇文章DeepDriving | 多目标跟踪算法之SORT介绍了多目标跟踪算法SORT，该算法虽然速度很快，但是也存在ID切换频繁等问题。针对这些问题，作者时隔一年后又在文章《Simple Online and Realtime Tracking with a Deep Association Metric》中提出了DeepSORT算法。与SORT仅仅采用边界框的IOU作为匹配时的距离度量不同的是，DeepSORT采用一种更可靠的距离度量方法，该方法结合了物体的运动和外观信息，其中外观信息是通过一个

本文收集和整理了一些目标跟踪相关的开源数据集，均附有下载链接，希望能给大家的学习带来帮助。

SORT目标跟踪算法仅使用卡尔曼滤波器和匈牙利算法解决帧与帧之间的状态预测和数据关联问题，跟踪的效果高度依赖于目标检测结果的好坏，算法整体设计非常简单，在速度和精度上取得较好的平衡，主要体现一个“快”字。当然，速度提升必然导致精度损失，SORT的缺点在于仅仅使用物体的边界框进行跟踪而忽略其表面特征，在复杂的场景中效果会比较差。另外，SORT没有目标重识别过程，一旦目标丢失就需要重新创建跟踪器去更新状态（一帧未匹配成功就需要重新跟踪），导致同一目标的ID频繁变换。