MOT学习日记

原创 已于 2022-07-15 13:57:26 修改 · 1.5k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能

于 2022-06-26 22:15:30 首次发布
本文探讨了多目标跟踪（MOT）领域的几个关键算法，包括Sort、DeepSort、MOTDT、ByteTrack和FairMOT。DeepSort通过去除分类层，仅用作特征提取以提高效率。MOTDT引入了候选框得分和细化，防止漏检。ByteTrack依赖于检测结果，其核心是BYTE数据关联方法。FairMOT指出 anchor-based 方法在追踪中的局限。同时，文章提到了Deepsort中的卡尔曼滤波（KF）缺陷及改进策略，如级联匹配和轨迹插值。评价指标如MOTA和IDF1用于衡量跟踪性能。

祖师爷：Sort、DeepSort 

deepsort中的reid 去除最后分类用的全连接层，即只利用该网络做特征提取不进行后续分类

2018 MOTDT：Real-Time Multiple People Tracking with Deeply Learned Candidate Selection and Person

MOTDT多目标跟踪论文学习笔记_x_yan033的博客-优快云博客_motdt

多目标追踪笔记四：MOTDT：Real-Time Multiple People Tracking with Deeply Learned Candidate Selection and Person_ronales的博客-优快云博客_motdt

 核心：候选框Score及Refine；为了避免漏检，所以分级数据关联

2021 ByteTrack 

目标跟踪之 MOT 经典算法：ByteTrack 算法原理以及多类别跟踪_kuweicai的博客-优快云博客_多类别跟踪

ByteTrack 的核心在于 BYTE 一种数据关联方法

ByteTrack 没有采用外表特征进行匹配，所以跟踪的效果非常依赖检测的效果，也就是说如果检测器的效果很好，跟踪也会取得不错的效果，但是如果检测的效果不好，那么会严重影响跟踪的效果

（用到工地的话 工人的服装十分相似 所以可能不需要reid）

ifzhang/ByteTrack: [ECCV 2022] ByteTrack: Multi-Object Tracking by Associating Every Detection Box (github.com)

bug 1. No module named 'yolox'   Successfully installed pycocotools-2.0.4 yolox-0.3.0

但是又引起了 cannot import name 'plot_tracking'  貌似是因为yolox版本不对

setup用的是 yolox==0.1.0     

新开一个 不要忘记python setup.py develop   就不会有yolox问题

(36条消息) ByteTrack翻译_叫我老安的博客-优快云博客 

”低置信度检测框有时指示对象的存在，例如被遮挡的物体。过滤掉这些对象会导致 MOT 出现不可逆转的错误，并带来不可忽略的缺失检测和碎片化轨迹。

byteTrack=yolox+BYTE  

Similarity#1（IOU或Re-ID）   Similarity#2（单独使用 IoU ）  相似度 分别用在第一次匹配和第二次匹配 

评价指标 

MOTA综合考虑轨迹中的FN、FP、IDSW的现象（即FP虚检、FN漏检、ID交换）更加注重检测
在这里插入图片描述

IDF1则是综合考虑IDP和IDR（综合ID准确率和ID召回率）
在这里插入图片描述

与MOTA不同的是，IDF1中的TP、FP、FN这些指标，是考虑进ID信息的，而MOTA中仅IDSW项考虑了ID信息。从这个角度讲，IDF1对轨迹中ID信息的准确性更敏感 

2019 JDE(Towards Real-Time Multi-Object Tracking)

问题：deepsort等mot都是检测后跟踪

【多目标跟踪论文阅读笔记——JDE(Towards Real-Time Multi-Object Tracking)】_书玮嘎的博客-优快云博客_jde多目标跟踪

FairMot

(35条消息) 论文阅读-FairMOT:《A Simple Baseline for Multi-Object Tracking》_DJames23的博客-优快云博客_fairmot论文

这篇论文讲到anchor-based不适合做目标追踪

 BoT-SORT: Robust Associations Multi-Pedestrian Tracking

Observation-Centric SORT: Rethinking SORT for Robust Multi-Object Tracking

主要改进KF

估计噪声->   OCM *

误差累积->   OOS （没看懂）

以估计为中心 -> OCR   

IOU匹配：计算检测框和预测框之间的iou，1-iou得到cost matrix，把cost matrix作为匈牙利算法的输入，得到线性匹配的结果

但是级联匹配的cost matrix包含了运动特征（lamda=0）和外观特征

下图为OOS 额外加入了轨迹的运动方向

 

deepsort中KF的缺陷：

Deep sort算法论文解读_mini猿要成长QAQ的博客-优快云博客_deepsort论文解读

解决措施：用级联匹配

但是bytetrack ocsort中同样存在 并且为了解决误差累积 他们解决用的是轨迹插值 而不是最多30次的kf

意义：获取更好的KF估计 

StrongSORT: Make DeepSORT Great Again

Azure1120
关注
使用 YoloV8 与 Strongsort、Ocsort 和 Bytetrack 进行实时对象跟踪和分割
m0_75176907的博客
07-25 1174
使用 YoloV8 与 Strongsort、Ocsort 和 Bytetrack 进行实时对象跟踪和分割
【目标跟踪算法】Strong SORT多目标跟踪模型论文解析+代码详解
froot的博客
03-17 6514
Strong SORT算法基于经典的Deep SORT模型，并从目标检测模型、表征特征模型和匹配算法等各个方面对其进行了升级优化。
MOT学习 - SORT算法
tsq292978891的博客
05-09 1392
paper：https://arxiv.org/abs/1602.00763 code：https://github.com/open-mmlab/mmtracking https://github.com/abewley/sort 摘要 SORT：Simple Online And Realtime Tracking，方法介绍 online（只考虑利用利用历史帧信息）+ realtime（很快，260HZ） 方法是对卡尔曼滤波+匈牙利匹配进行组合 此外，提到了检测对于MOT的重要性，简单换一个检测器，
MOT学习总结
Jmayday
08-07 2509
今天参加了MOT的相关培训，课程时间比较短，但是也算干货满满，收获也是非常的多，晚上回来消化一下今天的内容，做一个简单的复习。 第一部分 概念理解 MOT（Moment of Truth）——关键时刻。MOT是一个关键指标，是对客户导向的具体衡量，因为对客户而言，他只会记住那些关键时刻——MOT。 ...
MOT
slzlincent的博客
10-10 313
https://zhuanlan.zhihu.com/p/97449724?from_voters_page=true SORT和DeepSORT 从这两个工业界关注度最高的算法说起。 SORT作为一个粗略的框架，核心就是两个算法：卡尔曼滤波和匈牙利匹配。 关键步骤：轨迹卡尔曼滤波预测→ 使用匈牙利算法将预测后的tracks和当前帧中的detecions进行匹配（IOU匹配） → 卡尔曼滤波更新。 对于没有匹配上的轨迹，也不是马上就删掉了，有个T_lost的保存时间，但SORT里把这个时间阈值设置
mot2bin 拖入即转
03-04
"Mot2bin 拖入即转"是一个便捷的工具，主要用于将.MOT格式的文件转换为.BIN格式。在IT行业中，这两种格式通常与嵌入式系统和固件更新有关。了解这两种格式以及如何进行转换是理解这个工具的关键。 .MOT文件...
py-motmetrics:在Python中对多个对象跟踪器（MOT）进行基准测试
05-07
py-motmetrics py-motmetrics库提供了Python的度量实现，用于对多个对象跟踪器（MOT）进行基准测试。 虽然对单个对象跟踪器进行基准测试非常简单，但是要测量多个对象跟踪器的性能，需要谨慎设计，因为可能会出现...
多个 bin 转 mot 自动化工具
12-20
1，自动化将多个 bin 文件合并成 mot 文件。 2，配置灵活 3，可以配合 keil 使用。
多目标跟踪MOT格式转YOLO格式，并存在一个文件夹中，内含源码和小型MOT数据集
04-09
在计算机视觉领域，多目标跟踪（Multiple Object Tracking, MOT）是一项关键任务，它涉及识别和追踪视频中的多个独立目标。MOT数据集通常采用特定的格式来存储目标的位置、ID等信息，以便于算法处理。而YOLO（You ...
MOT Challenge 学习笔记
qq_51682716的博客
08-23 2111
MOT Challenge 学习笔记 以MOT16为例 链接：https://pan.baidu.com/s/19y8dSEM9tOIqPK2vxLfrBQ 提取码：mpvi MOT16论文：https://arxiv.org/abs/1603.00831 Part1 MOT16的数据目录结构 MOT中文件： 1.seqinfo.ini 在每个子文件夹中都有这个，主要用于说明这个文件的一些信息，比如名称、帧率、视频帧数、图片的长和宽，图片的后缀名。 2.det.txt 这个文件中存储了图片的检测框的信息
目前目标跟踪算法研究202308
qq_42835363的博客
01-14 1883
我的总结：因为原论文本身是针对行人重识别的，而且作者在设计的时候，考虑到类内特征差异大，类间特征差异小的特点（例如，一个人背着包包前后拍到的差异大，不同人穿类似衣服，差异小），作者提出了通过联合聚合门（统一聚合门）生成的通道权重将不同尺度的信息动态融合，即做了全尺度的特征表示。​ 我们应用在车路协同场景下，目标追踪类型包含了机动车、非机动车和行人。机动车的类内差异主要体现在由于拍摄角度带来的形态差异。多目标类型的类间差异体现在机动车和非机动车及行人之间的差异较大。
【OC_SORT，ByteTrack】论文+代码解读
weixin_40594084的博客
09-11 1324
【代码】【OC_SORT，ByteTrack】论文+代码解读。
多目标跟踪MOT：Deepocsort+YOLOv8+OSnet实战（代码讲解）
热门推荐
Orange_sparkle的博客
03-13 3万+
因为我一开始完全看不懂代码，自己摸索真的很累，所以我想能够帮助需要的人来快速理解代码，重要部分我都已经打上注释，还有不理解的地方可以在评论区留言。""""""import pdbimport cv2# 若轨迹的观测数为0dt = k - i""""""""""""else:return Qreturn R""""""count = 0""""""else:if new_kf:else:# 每有一个卡尔曼轨迹id就加一""""""""""""break。
论文阅读：Observation-Centric SORT: Rethinking SORT for Robust Multi-Object Tracking——OC-SORT
weixin_48292639的博客
04-23 1万+
文章提出了一种用于多目标跟踪的算法Obeservation-Centric SORT(OC-SORT),以解决多目标跟踪中模型对目标重叠、非线性运动的敏感和需要高帧率视频的问题。
StrongSORT论文阅读笔记
mobuovo的博客
04-02 5993
写在前面：这篇论文是2022.02.28放在arxiv上的，是对DeepSORT的改进，其中用到了许多现有的网络的tricks，正好目前我在做目标跟踪方面的工作，感觉可以抄抄作业啦(美滋滋)。以下内容是我根据论文做的翻译，希望可以帮助到大家，有不足的地方也希望大家多多包涵。 论文地址：论文阅读(BETA)-专业的学术讨论社区-粤港澳大湾区数字经济研究院（福田） github：https://github.com/dyhBUPT/StrongSORT 摘要： 现有的多目...
目标追踪StrongSORT——基于DeepSORT重大升级提高多目标跟踪的准确性和鲁棒性
知来者逆的博客
04-04 1万+
通过改进MOT任务中的早期深度模型DeepSORT，实现了最先进的性能（SOTA），引入了两种计算成本较低的后处理技术：AFLink和GSI，它们被证明能够进一步提升跟踪的准确度。 这些后处理方法不仅对所提出的模型有益，还能够显著提高其他几个模型的准确性。 这些改进表明，通过精心设计的后处理步骤，可以在不显著增加计算负担的情况下，显著提高多目标跟踪任务的性能。AFLink和GSI作为有效的后处理工具，为MOT领域的研究和应用提供了新的可能性。
StrongSORT（deepsort强化版）浅实战＋代码解析
weixin_50862344的博客
09-29 1万+
StrongSORT（deepsort强化版）浅实战＋代码解析
新版yolov5项目报错ImportError: cannot import name ‘plot_one_box‘ from ‘utils.plots‘
maktoub的博客
01-19 4647
from utils.general import check_img_size, non_max_suppression, scale_coords 报错：`ImportError: cannot import name 'scale_coords' from 'utils.general' ` from utils.datasets import letterbox 报错：`ModuleNotFoundError: No module named 'utils.datasets'`
deepsort与botsort与strongsort
qq_45711021的博客
06-25 7800
多目标跟踪（Multiple Object Tracking）MOT获取单个连续视频并以特定帧速率 (fps) 将其拆分为离散帧以输出。检测每帧中存在哪些对象标注对象在每一帧中的位置关联不同帧中的对象是属于同一个对象还是属于不同对象ByteTrack算法是一种基于目标检测的追踪算法，和其他非ReID的算法一样，仅仅使用目标追踪所得到的bbox进行追踪。追踪算法使用了卡尔曼滤波预测边界框，然后使用匈牙利算法进行目标和轨迹间的匹配。ByteTrack算法的最大创新点就是对低分框的使用。
mot
最新发布
06-15
### MOT in IT Context 在信息技术（IT）领域中，MOT 可以指代多个技术概念或工具，具体取决于上下文。以下是与 MOT 相关的几个主要技术概念： #### 1. **Memory-Optimized Table (MOT)** 从 SQL Server 2016 开始支持 In-Memory OLTP 技术，其中 Memory-Optimized Table（简称 MOT）是其核心组件之一[^3]。MOT 是一种内存数据库表，数据完全驻留在内存中，从而显著提高了查询和更新性能。MOT 的特点包括： - 数据读取和写入操作仅在内存中完成，不会产生磁盘 I/O。 - 在硬盘上维护的数据副本仅用于数据持久化，只有在数据库恢复时才会使用。 - 适用于高并发、低延迟的应用场景。 #### 2. **Multi-Object Tracking (MOT)** 在计算机视觉领域，MOT 指的是多目标跟踪（Multi-Object Tracking）。这是一个重要的研究方向，广泛应用于自动驾驶、视频监控和机器人导航等领域[^4]。MOT 的关键任务包括： - 跟踪视频中多个移动对象的轨迹。 - 实时检测和关联目标，确保每个目标在整个视频序列中具有唯一的标识。 - 常用算法包括背景扣除法、深度学习（DL）模型和卡尔曼滤波器等。 #### 3. **Scene Understanding and Representation** 在自动驾驶（AVs）和机器人技术中，MOT 还可以与场景理解（Scene Understanding）相关联。场景理解涉及对环境的感知和建模，通常结合深度学习技术和经典的时间序列模式识别方法[^2]。例如： - 使用 DL 技术进行目标检测和分类。 - 结合机器人领域的定位和地图构建（SLAM）技术，实现精确的场景表示和定位。 #### 4. **Atomic Block (ATOMIC)** 虽然 ATOMIC Block 并不直接称为 MOT，但它与事务管理密切相关。在数据库事务中，ATOMIC Block 确保一组语句以原子方式执行：要么全部成功提交，要么全部回滚[^1]。这种特性对于保证数据一致性至关重要。 --- ### 示例代码：MOT in Multi-Object Tracking 以下是一个简单的 Python 示例，展示如何使用 OpenCV 和背景扣除算法实现基本的多目标跟踪功能[^4]。 ```python import cv2 # 创建背景扣除器 background_subtractor = cv2.createBackgroundSubtractorMOG2() # 打开视频文件 video_capture = cv2.VideoCapture('input_video.mp4') while True: ret, frame = video_capture.read() if not ret: break # 应用背景扣除 fg_mask = background_subtractor.apply(frame) # 查找轮廓 contours, _ = cv2.findContours(fg_mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) for contour in contours: if cv2.contourArea(contour) > 500: # 过滤小区域 (x, y, w, h) = cv2.boundingRect(contour) cv2.rectangle(frame, (x, y), (x + w, y + h), (0, 255, 0), 2) # 显示结果 cv2.imshow('Multi-Object Tracking', frame) if cv2.waitKey(30) & 0xFF == ord('q'): break video_capture.release() cv2.destroyAllWindows() ``` --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值