- 博客(22)
- 收藏
- 关注
原创 GroupNet:基于多尺度神经网络的交互推理轨迹预测
过去的工作只考虑了有限关系推理的成对交互,因此提出了GroupNet,可以通过可训练的多尺度超图,用于对具有多个不同大小的群体交互进行建模,以数据驱动的方式学习这种多尺度超图拓扑,来提取更全面更群体化的交互;在学习时,为了学习交互embedding,提出三要素格式:神经交互强度、神经交互类别和每个类别函数至少三个因素会影响智能体动态:自我动量:已得到充分研究瞬时意图:不可研究(MTR系列已经实现瞬时意图的学习)社会交互:当前工作重点。
2025-11-05 20:26:31
368
原创 MART:基于多尺度关系Transformer网络的多智能体轨迹预测
多智能体轨迹预测大多依赖于GNN,图transformer,超图神经网络,基于超图的还有待研究,因此提出一个多尺度的交互transformer网络(MART),可以在transformer中考虑个体和群体的行为。
2025-11-05 09:30:24
909
原创 MTR++:基于对称场景建模和互相引导的意图query的多智能体运动预测
自动驾驶的挑战在于智能体的多样交互和复杂的环境场景大多通过MLP编码的工作通常偏向于预测训练数据中观察到的最常发生的模式,从而产生无法充分提取智能体的多模式行为的同一轨迹因此有方法为了改进涵盖智能体潜在未来行为的轨迹预测,提出一种基于目标的策略,首先选出密集的候选目标作为智能体的目的地,通过预测每个候选目标作为实际目的地相关的概率,为每个选定的候选目标生成完整轨迹。虽然这种策略减少了模型优化期间轨迹的不确定性,但此类方法的性能高度依赖于候选目标的密度。
2025-11-05 09:17:57
695
原创 DynGroupNet:通过动态群体感知网络进行多智能体轨迹预测
文章指出智能体的决策由三个因素决定,自我动力,瞬时意图和社会交互,而社会交互则是当前的重点,近年主要通过空间中心机制,注意力机制,图来进行建模但仍然存在局限性:首先,没有考虑群体行为,如海洋鱼群躲避捕食者,NBA团队合作其次,交互关系会随时间变化,如群体内部的关系最后,目前大多只推理交互类别,没有交互强度在过去的轨迹预测中(GroupNet)主要考虑多智能体间静态的交互关系,因此提出DynGroupNet这样一个动态群感知网络。
2025-10-25 13:56:21
675
原创 PPT:通过渐进式学习短期变化和长期依赖得行人轨迹预测
行人轨迹预测,现有模型会直接学习复杂的全部时间,忽略了轨迹中短期动态变化和长期的目标依赖之间的区别,虽然也有先预测目的,再插值中间轨迹的研究,但缺乏了两种预测之间的知识转移短期:需要从短暂的时间变化中预测局部的动态变化长期:通过提取轨迹对目标的长期依赖性来推断全局的局势因此提出PPT框架,分为三个阶段,分别针对短期的动态变化,长期的目标依赖,最后再生成完整的未来预测轨迹,逐步增强模型阶段一:通过给定任意长度的轨迹预测下一个位置,使模型学习轨迹短期动态变化的能力。
2025-10-25 13:39:31
575
原创 SC+:在环境条件下通过学习基于不同角度的交互信息来实现行人轨迹预测
在基于角度的交互基础上添加了条件在使用网络进行轨迹预测时,需要充分解释和测量交互行为如何改变轨迹,还要对行人的偏好进行建模,以应对不同环境。因此交互信息分为两个重要属性:可解释性和条件性,也是当前构建社会交互模型的两大挑战,不仅需要构建一个足够可解释的交互表示,还要在预测轨迹时考虑这些交互的条件。
2025-10-17 10:51:28
856
原创 SC:通过学习基于不同角度的交互信息来实现行人轨迹预测
在行人轨迹预测方面,社会交互具有多样性和不确定性,受海洋动物通过回声定位启发,建立了SocialCircle,通过将相对于目标对象的不同角度方向的交互信息构建社会圈,将SC应用于其他模型,不仅定量提高了预测性能,还定性模拟了人类的交互,更符合人类直觉社会交互分为基于模型和无模型基于模型:利用人工设计的数学规则作为预测基础,但如何设计一个鲁棒的规则是一个挑战无模型:往往基于图,通过数据驱动,利用神经网络学习,但依赖网络结构、数据质量。
2025-10-16 11:49:09
705
原创 EqMotion:基于不变交互和等变运动的多智能体轨迹预测
文章提出大多数预测模型都忽略了两方面1、几何变换下预测模型的等变性,即输入运动进行一个几何变换,则输出运动在相同几何变换下也产生相同的变化2、预测模型中对象之间相互作用关系的不变性,即对象交互关系在输入改变下仍然不变针对此,文章提出了3个模块1、等变几何特征学习模块,通过专门的等变操作设计,学习几何变换特征22、不变模式特征学习模块,学习不变模式特征,和等变几何特征学习模块配合,补充独立于欧氏变换的运动属性,将运动特征表现更全面。
2025-10-13 15:56:50
750
原创 LSSTA:基于长短期时空聚合的轨迹预测
时隔一年内多,重新开始更新论文:Long-Short Term Spatio-Temporal Aggregation for Trajectory Prediction | IEEE Journals & Magazine | IEEE Xplore行人轨迹预测主要分为时间动态建模和社会关系建模对于时间来说,像RNN和CNN在短期预测有不错效果,但长期预测方面不够好关于社会关系,一般应用基于的图的方法只能关注于静态的社会关系,而动态的空间性的社会交互不够好针对这些问题,LSSTA主要利用Transform
2025-10-13 15:35:10
810
原创 MOT领域的Sort算法
SORT是一种TBD范式的精简实现,主要针对在线跟踪,即仅将前一帧和当前帧的检测呈现给跟踪器,提出了将卡尔曼滤波器和匈牙利算法相结合的思想,包含由检测、将对象状态传播到未来帧、将当前检测与现有对象数据关联,以及管理跟踪对象的存在周期等关键组件,尽管该算法于2016年提出,但在2024年的今天依旧有很大意义。
2024-05-08 16:04:53
397
1
原创 将图神经网络应用于多目标跟踪的基本框架
深度学习擅长捕捉欧几里得数据(图像、文本、视频)的隐藏模式。但是,如果是从非欧几里的域生成数据,对象之间具有复杂关系和相互依赖关系的图形就需要GNN和是多目标跟踪(MOT)系统的关键组成部分,对于目标检测来说,有很多种方法进行解决,有时候会应用GCN, 但GNN一般还是用来解决数据关联问题,数据关联问题的核心难点在于:1)遮挡给物体帧与帧之间的数据关联带来不小的挑战;2)长时间下的数据关联也会遇到困难。
2024-04-20 14:40:11
954
原创 新能源汽车的统计测度研究
在当今时代,新能源汽车的采用和市场增长成为一个令人着迷的趋势,特别是与传统能源汽车相比。为了突出其影响和潜力,让我们探讨一个令人信服的例子,说明新能源汽车的推广如何成为未来的灯塔。通过采用熵权法确定发展水平指标权重,利用皮尔逊系数和多元线性回归分析探讨影响变量对新能源汽车发展水平的显着性和影响程度。为了预测新能源汽车发展水平指标的权重。使用第一步中开发的模型预测未来十年的影响因素。本预测利用灰色预测和增强型自回归率模型对新能源未来发展水平进行预测未来十年的车辆。转变为全球视角。
2024-04-13 17:11:26
4305
4
原创 将GNN求解的最小流算法应用于多目标跟踪
在这项工作中,利用经典的MOT网络流公式来定义一个基于消息传递网络(mpn)的完全可微框架。通过直接在图域上操作,可以在整个检测集上进行全局推理并预测最终解决方案。在MOT的图方法中,一个节点表示一个对象检测,一条边表示两个节点之间的连接。活动边表示两个检测属于同一轨迹。解决MOT图划分任务,即寻找活动边或轨迹的集合,也可以分解为两个阶段。首先,为图中的每条边分配一个成本,编码属于同一轨迹的两个检测的可能性。然后,在图优化框架内使用这些成本来获得最优图分区。
2024-04-13 16:12:40
967
1
原创 用于多目标跟踪的图网络
一些方法将 MOT 问题表述为图优化问题,然而这些方法均基于,不会更新。这些图模型将MOT问题表述为最小成本网络流优化问题。当节点或边所包含的信息过时时,这些静态图模型将失败。因此产生了需要更新和来提高性能需求,此外,这些静态图形模型不会为对象之间的全局交互进行建模为了解决这些问题,设计了一种具有端到端图网络的近在线MOT方法。由于和是处理MOT问题的基本线索。因此设计了两种图网络,即外观图网络和运动图网络,分别使用外观特征和运动特征作为节点属性,同时考虑了对象之间的。
2024-03-23 12:48:46
1175
3
原创 基于图神经网络的联合目标检测与多目标跟踪
和是多目标跟踪(MOT)系统的关键组成部分。尽管这两个组件是相互依赖的,但以前的工作通常是分别设计检测和数据关联模块,并根据不同的目标进行训练。因此无法反向传播梯度并优化整个MOT系统,使用这种单独优化过程,不能在整个MOT系统中反向传播误差,也就是说,每个模块只朝着自己的进行优化,而不是朝着MOT的目标进行优化。因此,在之前的工作中使用的这种单独的优化过程通常会产生次优性能为了解决联合MOT问题,尽管前人已经提出了一些方案,但单个对象/轨道/管道提取的特征彼此独立,并且忽略了对象-对象关系。但这种。
2024-03-17 11:12:01
2547
3
原创 将提案分类器应用于多目标跟踪
本文提出了一种简单但有效的方法,以数据驱动的方式解决 MOT 问题。通过两个关键模块设计MOT算法:(1)提案生成(2)图卷积网络(GCN)的建议评分。(a) 给定一组连续帧和检测的轨迹作为输入(b) 构建一个图来对数据关联问题进行建模。图中的节点表示检测/轨迹,边表示节点之间的可能链接,不同颜色的节点表示不同的对象。基于亲和图生成一组提案,其中包含完整的轨迹集,以完全覆盖每个单独的对象,但也可能有多个带有污染的轨迹集的建议(如多个不同对象合并到同一提案中)。
2024-01-22 21:07:39
1308
原创 用图形层次结构统一短期和长期跟踪
在高度精确的目标检测下,通常数据关联发生在相邻帧之间,即短期关联,简单的线索即可得到较好的结果,但缺乏长期身份保存的鲁棒性由于遮挡、拥挤等,迫使在遥远的时间帧中执行检测之间的关联,即长期关联,但需要更充分的线索和繁杂的步骤,且可扩展性有限由于任务性质不同,用于短期关联的解决方案往往在长期场景中失败,大多数最先进的跟踪器使用组合方法来跟踪不同的时间跨度,因此可以被认为是多级跟踪器。但依旧存在两个限制:(1)可扩展性,当增加要连接的检测之间的时间间隔,由于显著的外观变化和位移,关联变得更加模糊。
2024-01-19 16:57:33
1260
2
原创 可学习图匹配:将图分类和深度特征学习结合应用于多目标跟踪
与之前的工作不同点在于,这篇认为要做到更好的匹配效果不仅仅需要建模帧间目标的关系,轨迹和帧内检测之间的关系也需要做一个建模。另外一个点是在原来的图数据关联方法中提取特征的网络是分开的,而这篇文章将其和匹配联合在一起做优化。
2024-01-18 13:57:30
1085
1
原创 ByteTrack:通过关联每个检测框实现多目标跟踪
目录1、主要意义2、核心算法3、同其他数据关联方法的比较4、应用于其他的跟踪器5、结论1、主要意义MOT的大多数方法主要集中于提取高于阈值(一般为0.5)的检测框然后再将其与轨迹相关联,众多算法的目的都集中于提取和关联的算法,而检测值较低的检测对象其中固然有识别错误的,但也有一些由于遮挡等被遗漏的,因此本文提出了一个Byte方法,提取了几乎所有检测值的检测框,使用跟踪器通过利用它们的相似性来恢复真实对象并过滤掉背景检测,在此基础上本文又提出一个ByteTrac
2024-01-15 22:49:38
790
1
原创 将简单的线索应用于强大的多目标跟踪器
MOT旨在识别并追踪视频中所有运动物体的轨迹。该领域长期以来一直通过检测跟踪,它将跟踪分为两个步骤:(i)逐帧对象检测,(ii)数据关联以链接检测和形成轨迹。逐帧匹配通常由外观、再识别 (reID) 特征或运动线索等线索驱动。而如何高效并准确地利用线索则是重中之重,这里将提出一个简单的基于匈牙利算法的跟踪器,该跟踪器具有外观和运动线索,在多个基准上占主导地位,甚至不需要任何跟踪数据进行训练(reID)匈牙利算法:本质是将前一帧与当前帧中的识别信息进行关联计算距离,知乎上的一篇帖子很贴切地进行了解释。
2024-01-15 22:48:45
1536
1
原创 关于MOT常见数据集和评价指标的总结
Association IoU,通过将预测检测和地面实况检测匹配在一起(如匈牙利匹配)并测量该预测检测的整个轨迹与地面实况检测的整个轨迹之间的对齐情况来衡量,真阳性关联(TPA)为两条轨道之间的交集可以测量为两条轨道之间的真阳性匹配次数,误报关联 (FPA)是预测轨迹中的任何剩余检测,假阴性关联 (FNA)是真值轨迹中的任何剩余检测。Det-IoU为Detection IoU,需要定义一个定位阈值(一般为0.5),大于阈值即检测相交,通过相交面积(TP)与总面积(所有检测的并集)之比求得,
2024-01-15 22:45:56
3451
1
原创 多目标跟踪:文献综述
多目标追踪的任务主要是对象的定位和和识别,以及轨迹的追踪,纵观全篇综述,目前MOT还是更广泛地集中在行人,这与用途和技术难度有关。同SOT相比,MOT不仅有确定对象数量,保持轨迹的问题,还有其他关键问题如:1)频繁的遮挡,2)轨道的初始化和终止,3)相似的外观,4)多个对象之间的交互。大多数情况下DFT与在线跟踪相同,都是按顺序处理,但也有例外,总体来说,没有太多关联性,使用哪种初始化方法和处理模式只取决于应用于环境。同时还存在有其他分类和方法。
2023-10-29 21:49:26
907
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅