基于深度学习的多目标跟踪算法——ReID与MOT的联系

最新推荐文章于 2024-11-21 16:57:11 发布
最新推荐文章于 2024-11-21 16:57:11 发布
阅读量5.9k 收藏 51
点赞数 11
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c9Yv2cf9I06K2A9E/article/details/107240774
版权
本文探讨了基于深度学习的多目标跟踪算法，重点关注行人重识别（ReID）如何与多目标跟踪（MOT）相结合。ReID在MOT任务中主要作为表观模型，用于解决跨摄像头的行人识别。文章提到了DeepCC、NOTA、LAAM和STRN等方法，分别在数据集构建、网络框架设计、训练策略和运动表观特征融合等方面进行探讨，强调了ReID在跟踪任务中的重要性和挑战。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

©PaperWeekly 原创 · 作者｜黄飘

学校｜华中科技大学硕士

研究方向｜多目标跟踪

最近基于深度学习的多目标跟踪算法越来越多，有用于特征提取的，有改进单目标跟踪器的，也有提升数据关联的。如果真的要总结的话那就太多了，所以我准备分类别进行介绍，这次是这一系列最后一篇。我主要介绍基于行人重识别（ReID）算法的方法，相关 MOT 的基础知识可以去我的专栏查看。


ReID与MOT的联系

在 MOT 任务中，一般常用的特征模型有运动模型和表观模型，其中表观模型以行人重识别（ReID）类算法为主流。Re-ID 任务主要解决的是跨摄像头场景下行人的识别与检索，其中存在给定了身份的图片序列 query，需要为不同摄像头场景下的多组图片 gallery 的行人身份进行判定。



随着现在视觉任务需求的增加，车辆重识别任务也随之诞生，包括与之对应的数据集。对于多目标跟踪任务而言，由于目前只有行人和车辆的标注，所以基本只针对这两类目标，不过最近出来一个 833 类的多目标跟踪数据集 TAO [8] 。

以行人为例，多目标跟踪相对于 Re-ID 多出了空间位置信息和时间联系，其更多的是针对的同一摄像头场景，还包括可能出现的相机运动。

除此之外，对于 Re-ID 任务而言，其不需要考虑新身份的诞生和旧身份的消失，所有目标在 query 中一般都有对应的身份，而 MOT 任务中需要判定是否有可能不存在现有跟踪轨迹中，是否需要与已经丢失跟踪轨迹身份进行匹配等等，二者的异同总结如下：

指标

Re-ID

MOT

研究对象

行人/车辆

行人/车辆

场景

跨摄像头

单一摄像头

先验信息

表观信息

时空运动信息、

表观信息

研究任务

行人匹配

数据关联

目标序列是否

严格对称

是

否

其中，目标序列严格对称的意思是指的待比对的两个序列中，目标的 id 是否一致，如果不一致，则表明两个序列各自可能存在新的目标。

借鉴这个问题里面的回答行人重识别（re-ID）与跟踪（tracking）有什么区别 [9]。



我们可以看到 ReID 是一个相对底层的任务，随着检测、时序信息的加入，就可以拓展至行人检索和视频 ReID 任务，再引入 MOT 则可以得到更为高层的任务 MTMC（跨摄像头多目标跟踪）。

实际上 ReID 只是个任务名，我们不要将其具象化成了某一类数据集或者某一类深度框架，我们甚至可以直接用传统的图像特征来应用于这个任务，关键要看这个任务的定义。

MOT/MTMC中的ReID框架设计

2.1 DeepCC

最低0.47元/天 解锁文章
PaperWeekly
关注
基于深度学习的多目标跟踪算法
Littro Innovations
01-22 1151
基于深度学习的多目标跟踪（MOT，Multi-Object Tracking）算法在近年来取得了显著的进步。DeepSORT 在 SORT 的基础上增加了深度特征提取，以改善在遮挡和目标外观变化时的跟踪性能。这些算法代表了当前多目标跟踪领域的主要趋势，它们通过深度学习的强大特征提取能力和复杂的数据关联策略，能够在复杂环境下实现准确的多目标跟踪。：一种实时多目标跟踪方法，其通过统一的网络同时进行目标检测和外观特征提取，实现了高效和准确的多目标跟踪。：将连续帧中的检测结果关联起来，形成目标的轨迹。
【多目标跟踪论文阅读笔记——JDE(Towards Real-Time Multi-Object Tracking)】
热门推荐
selami的博客
12-14 1万+
[阅读心得] 多目标跟踪经典论文——JDE写在前面摘要功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 写在前面 Towards Real-Time Multi-Object Tracking是2019年清华大学发表的多目标跟踪论文
深度学习系列11：ReID概述和资源
kittyzc的博客
08-25 8683
1. ReID算法介绍 综述相关资料：https://zhuanlan.zhihu.com/p/31921944 综述文章：https://arxiv.org/pdf/1610.02984.pdf 2005的论文提出了ReID的概念，并使用基本的图像特征和时空特征，通过贝叶斯网来推断是否同一个人；2014年ReID开始引入深度学习的方法。 1.1 定义 行人重识别（Person Re-identification）也称行人再识别，简称为ReID，给定一个监控行人图像，检索跨设备下的该行人图像。一个区域有多个
多目标追踪相关 + reid
weixin_42438346的博客
10-23 2911
多目标跟踪的目的就是将每个目标和其他目标进行区分开来，具体方法是给每个目标分配一个ID，并记录他们的轨迹。 和目标检测的最大区别：仅仅使用目标检测无法给对象分配ID，并且多目标跟踪算法能够优化轨迹，能让目标框更加稳定。 多目标跟踪中一个比较经典的和深度学习结合比较好的方法就是Detection Based Tracking，对前后两帧进行目标检测，然后根据得到的前后两帧的所有目标进行匹配，从而维持ID。初学者接触比较多的就是SORT和Deep SORT算法了。 MOT中的评价指标 评价出发点： ..
DEEPSORT算法：深度学习驱动下的高效多目标跟踪
weixin_41544125的博客
02-28 871
DEEPSORT（Deep Simple Online and Realtime Tracking）是一种基于深度学习的多目标跟踪算法。其核心原理在于利用深度学习模型进行目标检测，并结合卡尔曼滤波器进行目标状态预测和数据关联，从而实现目标的连续跟踪。DEEPSORT算法在准确性和实时性之间取得了良好的平衡，适用于各种场景下的多目标跟踪任务。二、深度学习在目标检测中的应用。四、DEEPSORT算法框架。三、卡尔曼滤波器基础。
深度探索：基于深度学习的多目标跟踪算法（DeepSORT算法）原理及应用
qq_51320133的博客
05-06 5151
DeepSORT作为多目标追踪领域的一个里程碑式算法，通过深度学习与传统方法的有效融合，实现了追踪性能的显著提升。它不仅在准确性和鲁棒性方面取得了优异成绩，而且在实时性方面也表现不俗，为视频监控、体育分析、智能交通等多个领域提供了强大的技术支持。 未来，随着深度学习技术的持续进步和计算能力的不断增强，多目标追踪算法的发展将呈现以下趋势： 更高效的目标表示学习：探索更高效、更鲁棒的目标外观表示方法，减少计算量的同时提高追踪精度，特别是在小目标和快速移动目标的追踪上。多模态融合：结合视觉、声音、热成像等多种
基于深度学习的多目标跟踪算法研究.pdf
08-19
基于深度学习的多目标跟踪算法研究.pdf
人工智能本科毕业设计基于yolov5的步态识别多目标跨镜头跟踪检测算法系统源码.zip
03-14
该毕业设计项目主要聚焦于人工智能领域的一个重要应用——步态识别和多目标跟踪，采用先进的yolov5深度学习框架来实现。步态识别是一种非接触式的生物特征识别技术，通过分析个体行走时的动态特征来进行身份辨别。而...
带你入门多目标跟踪（四）外观模型 Appearance Model
Nieson2012的专栏
07-02 4875
行人跟踪作为MOT中的一个典型的问题，十分具有研究价值，本系列文章以行人跟踪为例来介绍MOT。 在讲解外观模型问题前，首先需要对MOT的各个部件有一个大概的了解。在设计一种MOT算法时，有两点问题需要格外关注。 一是如何测量在视频帧中各目标之间的相似性（measure similarity between objects in frames）； 二是如何基于第一点测量出的相似性，进行视频中目...
【多目标跟踪论文阅读笔记——2021年CVPR论文粗读记录】
selami的博客
12-16 1万+
[阅读心得] 多目标跟踪经典论文——2021CVPR论文粗读记录前言Alpha-Refine 前言 按照魏师兄的指导，逐步阅读2021年CVPR跟踪相关论文，粗读第一遍并整理其创新点、实现方法和诠释整理在此，争取3天内读完至少10篇。(2021.12.15) Alpha-Refine [论文]Alpha-Refine: Boosting Tracking Performance by Precise Bounding Box Estimation [代码]https://github.com/MasterB
基于深度学习的多目标跟踪算法：ReID与MOT的联系
weixin_40912987的博客
08-03 987
https://baijiahao.baidu.com/s?id=1671742855672964857&wfr=spider&for=pc
【深度学习|目标跟踪】多目标跟踪之训练reid网络
传统图像处理，深度学习，目标检测（分类，检测，分割），多目标追踪，部署等
11-21 756
文件夹，在这下面准备若干个子文件夹，表示一共有多少类别，每个文件夹中准备好对应类的图片即可。按照分类任务那样准备数据集，即创建一个。
Object Track（八）：跟踪任务中ReID部分的使用
qq_37662375的博客
12-08 3182
目标跟踪任务中ReID模块使用的大体思路是 在“基于外观线索的跟踪方法”中，首先裁剪检测的图像区域，并将它们馈送到Re-ID网络以提取图像特征。然后基于Re-ID特征计算轨迹与检测之间的相似度，并使用匈牙利算法完成分配。该方法对快速运动和遮挡具有较强的鲁棒性。特别是，它可以重新初始化丢失的轨迹，因为外观特征随着时间的推移相对稳定。 FairMOT中ReID的使用 Re-ID分支旨在生成能够区分对象的特征。 理想情况下，不同对象之间的关联性应该小于相同对象之间的关联性。为了实现这一目标，我们在back
雷德算法
知行且执行
12-04 4997
使用雷德算法实现倒位序：         对于自然顺序（二进制）我们是在低位加 1 得到下一位数，对于倒位序我们是在高位加 1 向低位进位。比如已知一个倒位序数是J求其下一个倒位序数，N位总数 ，把J与N/2比较若J=N/2则说明J的最高位为1 ，把最高位置0 ，比较次高位，若次高位为0 ，则把次高位置1，得到J的下一个倒位序，若次高位为1  ， 则把次高位置0,以此类推... 以N = 8
综述4 | 基于深度学习的Re-ID
滨哥v5的博客
03-18 854
reid
行人重识别(REID)——原理方法
lazyn的博客
05-04 4478
Single query是指probe中每个人的图像为一张（N=1），而multi query是指probe中每个人的图像为N>1张图像，然后融合N张图片的特征（最大池化或者平均池化）作为最终特征。同样的Rank-k下，一般N越大，得到的识别率越高。与 PTGAN 类似，利用 source domain 的数据生成 target domain，解决不同场景下采集的数据间的明显偏差。每一张图片的全局信息进行一个特征抽取，全局特征没有任何的空间信息。将学习到的特征映射到新的空间使相同的人更近，不同的人更远。
REID-轨迹跟踪任务中的ID一致性
世上再无张显宗
05-25 899
要解决目标之间的重识别问题（Ｒｅ－ｉｄｅｎｔｉｆｉｃａｔｉｏｎ，ＲｅｌＤ）。重识别是解决交叉摄像头图像匹配问题最直接的方法。目前ＲｅｌＤ的研究和技术应用主要聚焦于行人重识别［２８］，用于在交叉视角下实现对指定行人的跨视域检索，属于图像检索的子任务，可用于无人超市、刑侦追缉、跟踪车辆等智能视频监控领域。在行人重识别领域，每个摄像机摄制的图像会形成一个包含各种目标在内的候选行人库，通常包含同一目标的多个视角图像。如图２－４所示，行人重识别通过输入指定的目标行人图像，在行人图像数据库中检索与输入图像具有相同特征.
ReID讲解
weixin_46480637的博客
11-09 2306
通过最小化网络的度量损失，可以寻找一个最优的映射函数，使得相同行人的两张图片的距离尽可能小，不同行人的两张图片的距离尽可能大。通过最小化正例之间的距离同时最大化负例之间的距离，模型可以学习到一个好的特征表示，使得相似的行人之间的距离更近，而不相似的行人之间的距离更远。其中，d(a,p)表示锚点（anchor）和正样本（positive）之间的距离，d(a,n)表示锚点和负样本（negative）之间的距离，margin是一个预设的阈值，用于控制正样本对和负样本对之间的距离。、跨场景中的行人检索。
BoT-SORT目标追踪算法
最新发布
03-24
### BoT-SORT 目标追踪算法的实现原理 BoT-SORT 是一种基于多目标跟踪 (Multi-Object Tracking, MOT) 的检测与跟踪方法，其核心思想在于结合卡尔曼滤波器和重识别 (Re-ID) 技术来提升目标跟踪的效果。以下是关于 BoT-SORT 工作原理及其代码实现的具体说明。 #### 1. 核心组件解析 BoT-SORT 主要由以下几个部分组成： - **卡尔曼滤波器**: 这是一种用于状态估计的有效工具，在 BoT-SORT 中被用来预测目标的位置变化并减少噪声的影响[^1]。通过卡尔曼滤波器，可以更精确地估算目标在未来帧中的位置。 - **匈牙利匹配算法**: 在每一帧中，BoT-SORT 利用匈牙利算法将当前检测到的目标分配给已有的轨迹。这种分配方式能够最小化全局代价函数，从而提高关联准确性[^2]。 - **低分框处理机制**: 类似于 ByteTrack，BoT-SORT 同样考虑到了那些初始置信度较低但仍可能是真实目标的情况。通过对这些低分框进行额外分析，进一步提升了召回率。 - **可选 Re-ID 模块**: 如果启用了 `BoT-SORT-ReID` 版本，则会引入深度学习模型提取特征向量来进行身份验证。这有助于解决长期遮挡或其他复杂场景下的误配问题。 #### 2. 实现过程概述 以下是 BoT-SORT 算法的主要执行步骤描述（不涉及具体顺序表述）: - 初始化阶段设置好参数配置文件以及加载预训练好的物体检测模型； - 对输入视频逐帧读取图像数据流； - 调用YOLOv8等对象探测引擎获取候选边界盒集合； - 应用卡尔曼过滤更新现有踪迹的状态预测值； - 计算新发现实例同已有路径间的相似程度得分矩阵； - 执行最优指派操作完成即时连接判定； - 处理未成功绑定的新出现实体创建独立记录项； - 输出最终标注结果保存至指定目录下。 #### 3. Python 示例代码片段 下面展示了一个简单的调用 Ultralytics 提供的功能接口实现 BoT-SORT 或者切换成其他替代方案如 Bytetrack 的例子： ```python from ultralytics import YOLO # 加载预定义权重文件构建基础分类体系结构 model = YOLO('yolov8n.pt') # 默认采用内置支持的 BoT-SORT 方法论开展全程监控活动 results_default_tracker = model.track( source="./example_video/input.mp4", show=True, ) # 显式指定改用另一种高效实时性能表现更好的选项——Bytetrack results_bytetrack = model.track( source="./example_video/input.mp4", show=True, tracker="bytetrack.yaml" ) ``` 上述脚本展示了如何轻松更换不同的跟踪策略而无需深入理解底层细节即可快速对比两者差异之处[^3]。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值