感知算法

ByteTrack 在是在 2021 年 10 月公开发布的，在ECCV 2022中获奖。它以一种简单的设计方式击败了当时各路“魔改”跟踪器，在 MOT17 数据上首次突破了80 MOTA，并且在单张 V100 中推理速度高达 30FPS。 我把 ByteTrack 核心思想概括为：1. 当目标逐渐被遮挡时，跟踪目标与低置信度检测目标匹配。2. 当目标遮挡逐渐重现时，跟踪目标与高置信度检测目标匹配。另外，要慎重考虑并处理检测的假阳性，无目标检测出低置信度框的情况。网上常常把DeepSort与

1. 红绿灯场景对当前无人驾驶来说是个灾难性的挑战。暂且不说复杂的十字路口，譬如简单的人行道红绿灯也算挑战。2. 这里简述下一般的处理方式：建图定位告知前方是个人行道路口，此时车子在经过红绿灯前应先停止，此时规划接受感知发送的信号，如果接收到红灯or黄灯，则车子停止。直到接受到绿灯则进行。3. 本篇会初略分享红绿灯感知包括但不限于检测+跟踪+分类。重点讲解如何稳定跟踪。1. 检测用的 yolo 系列模型，这部分已经很成熟了，主要内容是标注数据与训练。由于当前训练数据不够，可以看出除了正前方，左右两方的

一、前言。

在低级别无人驾驶中，一般就是辅助倒车，辅助驾驶，辅助避让。或者说多数情况无人驾驶都是在特定的场景，如常说的高速场景。而在高级别无人驾驶中如L4级别，要考虑的需求会大很多。当然，在 2024 年的今天，想在乘用车上实现无人驾驶还是有段距离，但在市场与政策双重刺激下，相信在不久的将来会实现。今天给大家分享下一些在高级别无人驾驶过程中遇到的一些奇葩需求，遇到这些需求有哪些处理方法。

1. 在许多目标检测应用场景中，完完全全依赖目标检测对下游是很难做出有效判断，如漏检。2. 检测后都会加入跟踪进行一些判断或者说补偿。而在智能驾驶中，还需要目标位置信息，所以还需要测距。3. 往期博客介绍了许多处理复杂问题的，而大部分时候我们算力有限（内存、耗时），所以很多时候只需要提供一种检测适用的方法。4. 本篇提供一种检测跟踪测距方法，根据博主提供的 c++ 代码来进行讲解。

然后，使用矩阵的每个元素中的最小值作为我们的成本矩阵 C 的最终值。M ∈ R2×2 是包含仿射矩阵 a 的尺度和旋转部分的矩阵，并且 T 包含平移部分。在许多复杂的场景中，预测边界框的正确位置可能会由于相机运动而失败，这导致2个相关边界框之间的重叠率低，最终导致跟踪器性能低下。实际测试发现步骤 2 的提升是很大的，尤其是对突然发生抖动场景（如车子过减速带，急刹车等）。在经过上述式子更新过后，我们可以得到计算相机运动补偿后的目标状态与增益，此时把相应的 X，P 进行卡尔曼滤波的更新步骤。

一、前言。

一、前言。

其中Zcamera 可以近似求出。看过之前博客的朋友应该可以明白，具体计算方式，代码会全部给出。问：相机 A 检测出目标1 box位置，如何计算得出目标1在相机 B 中像素的位置？第2点与第3点中像素坐标转化到相机坐标。第3点就是一个三维坐标系旋转平移变化。同一时刻相机A与相机B的图。

目标跟踪在发生遮挡时，极其容易发生Id Switch。网上许多算法忽视跟踪遮挡问题,同时网上相关资料也很少。博主为了解决跟踪遮挡，翻阅大量论文。分享其中一篇论文。论文介绍了一种思路，但是未提供代码，博主根据论文思路编写了相关代码。验证后发现，效果好得出乎意料。阅读本文需要一定跟踪的基础。

3. criteria：指定迭代搜索算法的终止条件，在指定的最大迭代次数 10 之后或搜索窗口移动小于 0.03。我们这里是从圆周轨迹16个点，当9个满足条件，此判定圆心像素点为特征点。1. threshold：边缘轨迹点和中心点的差值阈值。1. preImgGray：前一帧图片灰度图。我们这里只对检测框里的像素做特征点检测。3. prePt：前一帧图片的特征点。2. gray：当前帧图片灰度图。Optical.cpp 文件。Optical.h 文件。二、python 代码。二、python 代码。

先放效果图。目标框内左上角，显示的是目标距离相机的纵向距离。目标横向距离、速度已求出，没在图片展示。这里不仅仅实现对目标检测框的跟踪，且可以实现单相机进行对目标进行测距跟踪。【目标跟踪】多目标跟踪sort （python 代码）。这里不过多赘述，直接上代码，如有疑问，欢迎私信交流。运行 main.py ，结果会保存视频。博主在本地是跑通的，如果有什么疑问，可以私信交流。关于数据，我是在网上找的开源数据跑的。相机的参数是模拟的。

多目标跟踪 sort（Simple Online Realtime Tracking）是一种基于目标检测的跟踪。根据我自己的理解把它分为个5步骤。初始化航迹。当第一帧检测结果输入时，此时航迹（trackers）为空，此时航迹保存检测结果。等待下一帧检测结果输入。预测。如果航迹不为空，航迹会预测一个 predict_box。匹配。预测的一个predict_box 与此时进来的检测结果 detect_box 匈牙利匹配（代码计算的iou）。更新。

匈牙利算法是一种在多项式时间内求解任务分配问题的组合优化算法，并推动了后来的原始对偶方法。1955 年，库恩 W.W.Kuhn 利用匈牙利数学家康尼格 D.Kőnig 的一个定理构造了这个解法，故称为匈牙利法。在多目标跟踪 Multiple Object Tracking 中，其目的主要是为了进行帧与帧之间的多个目标的匹配，其中包括新目标的出现，旧目标的消失，以及前一帧与当前帧的目标 id 匹配。

​ 1、卡尔曼滤波（Kalman filtering）是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。由于观测数据中包括系统中的噪声和干扰的影响，所以最优估计也可看作是滤波)过程。​ 2、在跟踪中卡尔曼滤波可以基于目标前一时刻的位置，来预测当前时刻的位置，并且可以比传感器更准确的估计目标的位置。​ 3、卡尔曼滤波不需要前面的历史数据，只需要前一时刻的状态数据就可以进行预测。

昨天有人给我发co-tracker开源，秉持着一贯好奇与好学的心态。尝试自己搭建环境跑跑demo看看效果。git链接：https://github.com/facebookresearch/co-tracker本机环境：ubuntu 18.04 cuda 11.7。