A Simple Baseline for Multi-Object Tracking

最新推荐文章于 2024-03-13 22:43:59 发布
原创 最新推荐文章于 2024-03-13 22:43:59 发布 · 480 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#计算机视觉 #人工智能

本文围绕多目标跟踪（MOT）展开，分析了two - step MOT和one - shot MOT两类方法的问题。提出一种anchor - free方法，采用ResNet - 34和DLA - 34作为骨干网络，设置目标检测和ID嵌入分支及相应损失函数。通过消融实验和与现有技术对比，该方法在多个数据集上表现更优。

A Simple Baseline for Multi-Object Tracking

论文信息

Paper：[CVPR2020] A Simple Baseline for Multi-Object Tracking

Link : https://arxiv.org/abs/2004.01888

Code : https://github.com/ifzhang/FairMOT/

背景

多目标跟踪（MOT）是计算机视觉领域的一个重要问题。其目的是估计视频中多个感兴趣目标的轨迹。目前多目标追踪任务的解决方法通常分为两类：

two-step MOT: 首先用检测模型确定图像中感兴趣的对象的边界框，然后用关联模型为每个边界框提取重识别（Re-ID）特征，并根据在特征上定义的某些度量将其与一个现有跟踪结果联系起来。但是，这两个网络不共享特征，因此无法以视频帧速率执行推断。

one-shot MOT: 同时进行目标检测和Re-ID特征提取，通过共享大部分计算来减少推理时间。但是准确性显着下降，而且存在目标ID关联不正确的问题。

关键性因素分析

1、基于anchor的方法不适用于Re-ID任务

首先，对应于不同图像块的多个anchor可能负责估计同一目标的id，这会导致严重的歧义。此外，通常会将特征图进行下采样缩小为原来的1/81/81/8 以平衡精度和速度，这对于Re-ID太过粗糙，因为目标中心可能与在粗糙锚点位置提取的特征不一致。

文章通过将MOT问题视为高分辨率特征图上的像素级关键点（目标中心）估计和id分类问题来解决该问题。

2、多层特征聚合

对于MOT特别重要，因为Re-ID特征需要利用低级和高级特征来适应大型和小型的目标。研究者在实验中观察到，由于提高了处理尺度变化的能力，可以有效减少one-shot方法的id转换数量。

3、Re-ID特征维度

以前的Re-ID方法通常学习高维特征，并在其基准测试中取得了可喜的结果。但是，文章发现低维特征实际上更适合MOT，因为MOT任务的训练图像比Re-ID少，学习低维特征有助于减少过拟合小数据的风险，并提高跟踪的鲁棒性。

方法

文章采用anchor-free对象检测方法来估计高分辨率特征图上的目标中心。消除锚点减轻了歧义性问题，并且高分辨率特征图的使用使Re-ID特征能够更好地与对象中心对齐。然后，文章添加了一个并行分支，用于估计用于预测对象身份的逐像素Re-ID特征。文章方法通过学习低维Re-ID特征，减少了计算时间同时提高了特征匹配的鲁棒性。文章还为骨干网络配备了“深层聚合”运算符，以融合来自多个层的特征，处理不同规模的对象。

Backbone网络

文章采用ResNet-34作为backbone，同时为了适应不同大小的目标，将DLA的一种变体DLA-34应用于骨干网络。这里输入图像大小为Himage×WimageH_{image}\times W_{image}Himage​×Wimage​

最低0.47元/天 解锁文章
FairMOT算法详解
reset2021的博客
04-18 1794
同时完成目标检测和重识别（Re-ID）特征提取，解决了传统两阶段方法（如DeepSORT）中检测与Re-ID任务的不公平性问题，显著提升了跟踪的准确性和效率。，即让检测（Detection）和重识别（Re-ID）两个任务在同一个网络架构中。检测器和Re-ID模型分开训练，检测框的质量直接影响Re-ID特征提取。检测误差会传递到Re-ID阶段，导致ID切换（ID Switch）增加。输出热图（Heatmap），预测目标中心点（类似CenterNet）。：引入全局Re-ID检索（如BoT-SORT）。
论文精读：FairMOT: On the Fairness of Detection and Re-Identification in MultipleObject Tracking
qq_52053775的博客
05-19 2310
1.提出背景 以往的工作通常将re-ID视为次要任务，其准确性受到主要检测任务的严重影响。因此，网络偏向于主检测任务，这对re-ID任务不公平。 2. 核心思想 将MOT表示为单个网络中目标检测和reid的多任务学习，因为它允许两个任务的联合优化，并且具有较高的计算效率。然而，我们发现这两个任务倾向于相互竞争，这需要仔细处理。特别是，以往的工作通常将re-ID视为次要任务，其准确性受到主要检测任务的严重影响。因此，网络偏向于主检测任务，这对re-ID任务不公平。为了解决这个问题，我们提出了一种基于无锚
A Simple Baseline for Multi-Object Tracking（FairMOT）——原理及代码测试
藏晖的博客
05-10 4304
A Simple Baseline for Multi-Object Tracking（FairMOT） Paper：https://arxiv.org/abs/2004.01888 Github：https://github.com/ifzhang/FairMOT         这个模型最近在mot上很火，在MOT的多个数据集上取得了很好的成绩，这篇文章想总结自己在阅读和测试代码的时候一下看法。   &n
【论文阅读】A Simple Baseline for Multi-Object Tracking
StarkerRegen的博客
08-05 424
A Simple Baseline for Multi-Object Tracking是基于tracking by detection的策略，沿用JDE的核心思想（即联合检测和嵌入向量的模型），将检测方法由anchor-base换成anchor-free，超越了现有的SOTA算法。
FairMOT论文详解
进击的菜鸟
12-08 1万+
FairMOT FairMOT FairMOT介绍 Two-step方法 One-shot方法 The Technical Approach backbone Detection Branch Heatmap Head Center Offset Head Box Size Head Identity Embedding Branch Loss Functions Heatmap Loss Offset and Size Loss Identity Embedding Los.
论文阅读-FairMOT:《A Simple Baseline for Multi-Object Tracking》
热门推荐
DJames23的博客
04-13 1万+
摘要 近年来，作为多目标跟踪的核心组件的目标检测和重新识别取得了显着进展。 但是，很少有人关注在单个网络中完成两项任务以提高推理速度。 沿此路径进行的初始尝试最终导致结果降低，这主要是因为未正确学习重新标识分支。 在这项工作中，我们研究了故障背后的根本原因，并因此提出了解决问题的简单基准。 它以30 fps的速度远远超过了公共数据集的最新水平。 我们希望这个基准可以启发并帮助评估该领域的新想法。 ...
A Simple Baseline for multi-object Tracking(FairMOT)论文阅读笔记
风行
01-26 642
FairMOT论文笔记（一）Title（二）Summary（三）Research Obejct（四）Problem Statement（五）Method5.1 backbone5.2 Object Detection Branch5.3 Identity Embedding Branch5.4 Loss Functions5.5 在线跟踪（六）Experiment6.1 数据集6.2 实现细节实验1实验2 Multi-Layer Aggregation的影响实验3 对Re-ID特征维度的选择实验4 和Sta
FariMot(A Simple Baseline for Multi-Object Tracking)多目标跟踪器解读
ckqsars的博客
05-13 1289
本文只是记录笔者关于这篇论文的解读，并不是文章翻译，所以想看关于introduction或者related的可以去直接看文章或者其他的笔记。 论文地址 代码地址 简述 FairMot是一个把检测和跟踪结合在一起的模型，模型的输出同时有检测信息以及re-id的信息，根据re-id的feature的信息把前后帧检测出的目标进行关联起来。 网络结构 网络结构如图所示，输出的同时用detection和re-id部分，其中网络的backbone采用的DLA-34，在检测方面采用的是anchor-free的检测思路，
论文笔记——FairMOT：A Simple Baseline for Multi-Object Tracking
jackzhang11的博客
07-29 1634
论文题目：A Simple Baseline for Multi-Object Tracking 论文链接：https://github.com/ifzhang/FairMOT 以往的MOT大多是基于tracking-by-detection的，首先对每一个frame做检测，再用re-Id，各种匹配关联算法进行data association，这两个步骤都是独立的。这篇文章提出了一个网络，可以将上述步骤进行结合，通过一个网络，同时得到检测结果（bbox，score）和re-Id feature，作者称之为o
目标跟踪 - A Simple Baseline for Multi-Object Tracking
清欢
06-27 738
文章目录0. 前言1. 要解决什么问题2. 用了什么方法3. 效果如何4. 还存在什么问题 0. 前言 相关资料： arxiv github 论文解读 论文基本信息 领域：多目标跟踪 作者单位：华科&微软亚洲研究院 发表时间：2020.4 1. 要解决什么问题 近些年来，检测与Re-ID都有了长足的发展。而多目标跟踪可以看成是检测与Re-ID的结合。 当前主要的MOT实现方法有两种 two-step：检测与Re-ID用两个独立的网络实现，参数不共享。这类方法性能相对高，实时性
A Simple Baseline for Multi-Object Tracking多目标跟踪算法
donkey_1993的博客
05-27 3287
论文下载地址：https://arxiv.org/abs/2004.01888 代码下载地址：https://github.com/ifzhang/FairMOT 论文摘要：近几年目标检测算法和重识别算法发展迅速。这两个是多目标跟踪算法的重要组成部分。但是现在很少有人关注，将这两个算法合并在一个网络上，因为在初期的时候就有人尝试过这种方法但是重识别网络学习的特征并不好，从而造成跟踪精度大幅下降。论文作者基于以上问题，提出了一个简单基准来提升单网络多目标跟踪算法的精度，并且取得了state-of-the-
Object Track（六）：经典论文FairMOT速读
qq_37662375的博客
12-06 866
FairMOT这个题目很好，直接抓住了论文的中心思想。读一读摘要，论文将行文的重点放在了将目标检测任务和重识别任务视为同等重要的任务上，通过这一点入手展开来谈archor-free的重要性、特征融合、Re-ID相关。 摘要 多目标跟踪(MOT)是计算机视觉中的一个重要问题，具有广泛的应用前景。MOT定义为在单一网络中进行目标检测和重新识别的多任务学习，可以实现两项任务的联合优化，具有较高的计算效率。然而，我们发现这两个任务往往是相互竞争的，需要小心处理。特别是以往的工作通常将re-ID作为次要任务，其准
FairMOT论文解读
Q1u1NG的博客
08-07 4981
FairMOTFairMOTFairMOT介绍Two-step方法One-shot方法The Technical ApproachbackboneDetection BranchHeatmap HeadCenter Offset HeadBox Size HeadIdentity Embedding BranchLoss FunctionsHeatmap LossOffset and Size LossIdentity Embedding LossOnline TrackingNetwork Inferen
论文阅读笔记：FairMOT
weixin_44606353的博客
03-13 2103
以前的工作通常将 re-ID 视为次要任务，其准确性受检测任务的影响很大。为了解决这个问题，提出了一种基于无锚对象检测架构CenterNet的简单而有效的方法FairMOT。
#每天一篇论文 266/365 A Baseline for 3D Multi-Object Tracking
流浪机器人的博客
11-19 879
3D多目标追踪基准 代码 MOT数据集处理 摘要 三维多目标跟踪（MOT）是自动驾驶或辅助机器人等实时应用的重要组成部分。然而，最近的3D MOT作品倾向于更多地关注精确的系统，而较少考虑计算成本和系统复杂性。相比之下，本文提出了一种简单而精确的实时基线3D-MOT系统。使用现成的三维物体探测器从激光雷达点云获得定向的三维边界盒。然后，结合三维卡尔曼滤波和Hun-garian算法进行状态估计和数据...
论文阅读笔记6——FairMOT:On the Fairness of Detection and Re-identification in MOT
wjpwjpwjp0831的博客
11-13 4706
这篇文章很好，打算精读。 原文：原文 代码：代码  \space  0.Abstract 传统的MOT方法是将目标探测和重识别分开。但是作者发现两个任务会倾向于相互竞争，这是需要谨慎处理的问题。尤其是检测精度会极大地影响重识别的任务. 因此之前的方法偏向于检测任务，这对于重识别不公平，也就是二者不对等。作者基于无锚的CenterNet提出了FairMOT，但是并不是CenterNet和re-ID的简单结合，而是设计了很多细节，达到了很好的效果。  \space  .
FairMOT代码详解
qq_42779673的博客
05-17 2490
参考：https://blog.youkuaiyun.com/u011622208/article/details/106718940 这篇文章写得很好，我在阅读学习的时候对其中我觉得有些不太具体的地方加了一些自己的理解。可以结合着一起看。 局部变量： activated_starcks：所有is_activated=True的Strack对象 refind_stracks：该次操作中原本状态为lost之后又匹配上的Stracks对象 lost_stracks：该次操作中原本状态为Tracked后来又丢失的对象
A simple yet strong baseline for llm-based web agents
最新发布
03-26
### 基于LLM的Web代理的基线模型 构建基于大型语言模型（LLM）的Web代理时，通常需要考虑几个核心要素：任务理解、工具调用以及上下文管理。一种强大的简单基线模型可以由以下几个部分组成： #### 1. **任务分解模块** 此模块负责将用户的自然语言请求解析为可执行的任务序列。通过利用预训练的语言理解和生成能力，LLMs能够高效地完成这一过程[^1]。 ```python def parse_user_request(user_input): """ 将用户输入转换成结构化任务列表。 参数: user_input (str): 用户提供的原始查询字符串 返回: list: 结构化的任务指令集合 """ structured_tasks = llm_generate(f"Parse the following request into tasks:\n{user_input}") return structured_tasks.split("\n") # 简单分割作为示例 ``` #### 2. **工具接口适配器** 为了增强LLM的功能范围，可以通过设计轻量级工具接口来扩展其能力。这些工具可能涉及搜索引擎集成、数据库访问或其他特定领域服务。尽管某些基础计算可以直接依赖LLM内部逻辑实现[^3]，但对于复杂操作仍需外部支持。 例如，在处理数值运算时虽然无需显式调用API即可获得合理结果，但在更广泛的应用场景下引入专用插件将是必要的改进方向之一。 #### 3. **对话历史跟踪机制** 维持连贯性的交互体验对于提升用户体验至关重要。为此，应建立有效的记忆存储方案以记录过往交流详情并据此调整后续响应策略。 ```python class ConversationHistory: def __init__(self): self.history = [] def add_entry(self, role, content): entry = {"role": role, "content": content} self.history.append(entry) def get_context(self): context_str = "\n".join([f"{entry['role']}: {entry['content']}" for entry in self.history]) return f"Context:\n{context_str}" ``` 综上所述，上述三个组成部分共同构成了一个适用于多种实际需求的基础架构框架——即具备良好泛化性能的同时又能灵活适应不同业务环境下的定制化开发要求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值