m_buddy的博客

对于tracking的思想是使用历史帧信息，历史帧信息中query与GT匹配关系、query特征表达均会传递到当前帧，在给新目标分配额外object query的同时，用以上信息完成帧间流转之后去检测。为了提升帧间检测的稳定性通常会添加时许信息，这个可以BEV特征处做时序融合，也可以是用当前帧query去cross-attn历史帧信息，则更多的时候是将之前帧信息与当前做融合或者cross-attn实现信息传递，是一种只在当前帧做检测的思路。这篇文章提出使用tracking的思路去做帧间融合，也就是。

这里使用bevformer去构建初始BEV特征，之后通过EML Neck（带channel-wise和spatial-wise的attention）去构建不同尺度的特征，用以满足不同目标感受野需求的不同。在逐层优化之后会输出query-embedding和query-coords，deformable-attn是通过offset学习的方式去确定需要抓取的信息，这是稀疏且粗糙的。（栅格化描述在实际量产中是已被验证的），这样有了栅格化作为性能的baseline，再从向量化维度去提升性能上限。

在Step1中通过预训练的方式得到网络初始参数，那么以感知初始结果作为输入使用预训练参数进行finetune，就可以依据HDMap中的先验信息去进一步优化感知的结果。BEV特征（上图中展示的BEV特征应该是经过PV2BEV之后的，因为并未看到与图像特征做交互）通过cross-attn之后相当于就是引入到道路先验，之后再经过预测网络得到初步感知结果。感知的终极目的时在线构建高精地图，而感知+地图的结果只能说是在鲁棒性、稳定性上好于纯视觉的方案，对此这篇文章设计了一个refine网络，这个网络。

这里对于局部的理解可以看作是地面元素中的点（文中描述为points-level），全局的理解可以看作是地面元素整体（通常理解为实例，文中描述为elements-level）。对于回归任务较难的问题，自然想法就是引入其它信息，其实实例的几何信息也是很重要的，这个几何信息直观表现就是mask信息，而mask预测是一个分类任务天然就比回归任务容易学习。然而由分割任务基础上去预测points的回归也是很难的（没有很好学习point-level的信息），就如下面图中第2、3格子的图。对应下图中第1格子的图。

明显的差异是其在StreamMapNet的基础上增加了去噪分支，这个分支需要确定参与去噪的地图元素与当前帧的对应关系（也就是上图中的Adaptive Temporal Matching），以及寻找到对应关系之后依据元素之间的距离计算加噪声的力度（也就是上图中对应的Dynamic Query Noising）。这里将地图元素描述为有序点的形式，用一个外接矩形去包围它，那么调整外接矩形中心的位置和宽高就可以调整这个地面元素上点的位置了，因为设定了地图元素上每个点相对矩形的相对位置是不变的。

局部地图构建算法在实际中会遇到部分车道线偏离的或是错误的情况，这往往是全局信息获取上存在欠缺，毕竟地图元素的回归很依赖于全局信息的获取。其实抛开多模态特征融合网络部分不谈，在上图中描绘了文章的两个工作MPN和IIA，前一个用于融合Camera和Lidar的信息，后一个用于增强query内部的信息关联。MPN的结构在上图中已经和清楚了，也就是使用多尺度的方式融合不同模态信息。，而且其中的inter和intra两个类型的attention具体哪个模块起的作用更大和摆放的位置在之前的工作中已经有了实验和说明了。

在原本的MapTR中query-pos是通过torch.split()操作得到的，其本身是没有任何位置先验信息的，而query-pos是比较重要的信息，给它以明确的先验信息是能够提升网络的性能的。有了上述permutation的过程，实际GT的数量得到增加，那么对应query的数量也会增加，则有效query的占比就增加了，那么参与更新的query变多，梯度下降的方向更加具有方向性，收敛速度更快。在给定的集合上其实是看不出IPM、BEVFormer、GKT这些BEV特征提取算法的优劣的，但是在。

之前的一些工作中使用inst_query加上共享point_query的方式（Hierarchical query方式构建），这样方式的含义是point_query需要去学习所有车道线的几何信息，但是车道线之间是差异很大的，强行去表达这些信息对这么少的共享参数是较难表达的，那么一个办法就是对每个inst_query都分配一组point_query以此来构建最终query（Hybrid query方式构建）。再者，场景中的车道线在线内部和线之前是存在关联的，它们之间的关联是否被有效挖掘。也是可以实验一下的。

此外在车道线解码过程中attn_mask也可以做些改进，比如MapTR-V2种的inter和intra两个维度的attention可以做得更细粒度一点，也就是做intra-attn的时候只关注本车道线内部，做inter-attn的时候只关注除自身之外的其它实例，出了原本针对单点的L1损失，车道线具备的几何结构信息作为监督信息也可以再被挖掘挖掘，像车道线实例中点和点之间的距离与夹角、线与线之间的夹角、不同线上点与点之间的关系都可用来作为监督约束，，这个attn_mask的机制还是有借鉴价值的。

再对比回归任务和分割的分类任务，这两者任务本质上就存在较大的差异，分类任务具备较强先验知识，因而相对回归任务会表现更加鲁棒，同时再结合分割任务需要的全局和局部感知特性，这也是这篇文章要将分割方向的loss引入到点的回归上来的原因。表示平滑因子，越大mask的边界越平滑，越小mask的边界越锐利。文章的方法算作是在原本向量化车道线预测的基础上添加的额外损失，它将预测向量和GT向量栅格化为mask图像（栅格化的过程可导），并借用分割领域中的dice loss计算与GT的差异，也就是下图所示的情况。

为了兼容不同车道线的朝向，环形车道线的起终点等情况，针对性设计了permute-equal的匹配逻辑，这样的逻辑真的是太麻烦了。对于车道线的描述使用固定点数的方式，这样就使得对于一些车道线细节把握不到位，就是原本的均匀采样没有采样到对应区域的问题。，但是图像能感知到的范围肯定是大于它的，那么由于文章的算法是引入了时序的，那就会导致真值在不同时刻下对应不一致的情况。那么对于一个路口的场景其中的车道线对应的真值就被描绘成了下面中间图的结果了，但是车道线的方向不得增加一个单独的预测来处理？文章设置的感知范围为。

还有一个方案是使用辅助信息，如SD地图，SD地图（standard definition map）是一种较为廉价和覆盖范围广的辅助信息，并且其也是相对置信的，则可以考虑将它与传感器感知算法结合，得到更加鲁棒的感知方案，因而这里对最近看到的几篇SD地图结合方案进行梳理。核心在KEA模块的下面，使用一个对方向信息敏感的卷积处理地图数据，再通过一个定位网络输出地图需要的旋转角度和平移量，并完成网格采样以此实现特征对齐。这个工作是在BEV空间去做SD地图和传感器数据的融合的。

因此文章在元素解码阶段设计了粗糙到精细的预测过程，称为HSMR，而对地面元素的建模就是参考了MapTR的那套。另外对于BEV特征构建选择了两种方式：transformer和IPM投影的组合方式，这样可以有效兼顾BEV图下每个grid的离散特征和图像域中目标的连续信息。前一个针对每个BEV下的grid去图像中抓取信息，后一个通过MLP从图像中获取连续且稠密的信息，同时还在后一个中添加分割任务，用以增加对环境的感知能力。那么在流转到下一层的时候多出来的顶点是怎么产生的呢？文章给出的方案是：插值。

整体上文章的方法是基于MapTR的（参考了它的车道线回归和匹配机制），主要的工作是使用多个query-point去做deformable attention，以及增加时序上的信息融合，算是一些trick的叠加，当作一些trick效果的验证就好。在原本的deformable attention中只有一个中心，但是这样的信息抓取方式是不适合那些空间跨度比较大的情况的，如车道线，则应该对于每个query point去做deformable信息抓取，也就是下图中的这样。

注意由于每条车道线中关键点的位置是不一致的，则使用share方式构建的point-query会存在一定歧义（也就是文中说的Hierarchical Query），这种share方式构建的index-dependent，而对于动态预测车道线关键点则需要index-independent。在MapTR系列的算法中将单个车道线建模为固定数量的有序点集（对应下图Evenly-based），这样的方式对于普通道路场景具备一定适应性。在初始的时候使用一堆点的方式构建车道线query，它的维度是。

这里的位置编码是首先在3D空间中进行采样（也就是文章定义的3D地平面），之后通过相机内外参数投影到图像中，以此来作为对应图像位置处的3D位置来源。则在原本不准确的3D平面上就可以通过自适应回归的方式优化3D地平面，由此实现特征3D位置编码的优化，地平面的约束使用过车道线上的点投影建立起来的，也就是使得下图中的绿色平面与红色的车道线接近。对于图像特征使用3D信息嵌入的位置编码，只不过这个位置编码是在给定一个的初始化基础上修正而来的，也就是说在transformer解码的过程中这个位置编码的值是动态的。

介绍：在车道拓扑结构建模描述中经常使用pixel-wise（基于分割）或piece-wise（小段车道检测并连接）方式，但是这样的方式并不是将一个lane完整建模和优化的，因而当某些细节单元上出现错误的时候就会对整条lane的感知产生影响。基于如此观察文章将lane描述为一个带方向的path，并完整预测path的几何结构，从而得到较为完成的path描述，一个场景的道路graph信息便是通过这些path组合起来的。

介绍：这篇文章提出了一种向量化高清地图（vectorized HD map）构建的方法，该方法将高清地图中的元素（线条状或是多边形的）构建为由一组点和带方向边的组合。由于点和方向边在起始点未知的情况下其实是能对同一地图元素够成很多种表达的，对此文章对一个元素穷举了其所有可能存在的等效表达并将其运用到的实例匹配中去，这样可以有效避免一些特意场景下的歧义情况（如对象车道中间的分割线或是人行横道的多边形区域 ）。

介绍：在这篇文章中提出一种生成向量化高精地图（verctorized HD map）的方案，通过如IMU、GPS、Lidar等传感器数据融合可以生成全局的高精度定位信息，对于局部的信息是通过相机和Lidar实现的，其中最为关键便是行车过程中的车道信息。对于局部信息的获取方法是这篇文章的重点，其通过编码器处理环视图像和Lidar数据，之后将其映射到bev空间并引入时序得到融合信息表达，之后用于预测车道实例。

介绍：这篇文章是毫末科技在单目场景下在bev视图下实现车道线检测的方法，其车道线检测的基础方法是源自于bev视图下车道线分割，再通过预测几个附加预测头用于辅助后处理。具体来讲这篇文章的工作可以划分为3点。1）这篇文章将图像坐标下的特征转换为bev坐标下使用的是全连接的形式，也就是直接通过学习的方式得到一个固定相机参数下的转换关系（这是出于实际部署与计算性能的考量），这样就可以不同显式去编码相机参数。同时为了增强特征表达使用了多个尺度的特征。

介绍：在2D场景下检测得到的车道线在下游任务中会将其转换到bev空间下，但车辆在行驶过程中yaw和pitch是会存在一定程度偏移的，也就导致了bev空间下的车道线会出现交汇和发散的情况。对于这样的问题一种方案是通过姿态估计算法解算更准确的位姿，另外一种便是将其直接在bev空间下完成检测任务，这篇文章的方法属于后者。在这篇文章中建立2D bev空间到前视图像特征的映射关系，并通过该关系构建bev特征，并在bev特征上完成车道线预测，从而避免了车道线空间转换带来的问题。

介绍：在这篇文章中介绍了一种新的车道线描述范式（基于点的车道线建模），也就是通过关键点（文章对应称之为relay points）和关键点之间的关系场构建推理出车道线。具体为文章通过segformer实现车道线二值分割得到分割结果SSS，并同时通过不同的head预测TTT（transfer map）和DDD（distance map），之后在SSS上做point-nms实现车道线上点的确立，以这些点为起点结合DDD和TTT推理出整条车道线。......

参考代码：CLRNet1. 概述介绍：车道线检测任务是一种高低层次信息都依赖的任务，在CNN网络的高层次特征具有较强的抽象表达能力，可以更加准确判别是否为车道线。而在CNN网络的低层次特征中包含丰富输入图像纹理信息，可以帮助车道线进行更精准定位。而在这篇文章中提出了一种级联优化（从高层次的特征到低层次的特征）的车道线检测算法，极大限度利用了高低维度的特征去优化车道线在高分辨率下的预测准确度。不同与之前的LaneeATT中直接特征index的方案，这篇文章中提出了基于双线性采样的线型RoI提取算子（RO

参考代码：pytorch-auto-drive1. 概述介绍：在这篇文章中对车道线建模表示进行了讨论和分析，文中指出现有的车道线检测方法大体为：segmentation-based、key_points-based、polynomial-based，当然还有一些其它类型的车道线建模表述方法。在此基础上依靠文章对车道线使用曲线描述函数对车道线进行建模，这样就省去了很多特征解码的相关问题，只需要网络去预测对应曲线的参数就行了。但是在polynomial-based方法中其多项式回归对网络来讲是较难，导致的

参考代码：conditional-lane-detection1. 概述介绍：这篇文章针对车道线问题提出一种使用Conditional-Conv完成车道线检测的方案，其灵感源自于SOLO-V1&V2与CondInst，将车道线不同实例的检测问题转换为了在求解其对应条件卷积所包涵的动态卷积参数问题，正是用这些对应的动态卷积参数去表示不同的车道线实例，这种思路与CondInst的构建原理最为相似。在这篇文章中除了用上述提到针对不同车道线实例的条件卷积之外，还通过row-wise车道线（点 ）定位与

参考代码：PolyLaneNet1. 概述介绍：这篇提出了一种新类型车道线检测算法，它使用多项式表示一条车道线，从而实现对弯曲车道线的适应。总体看文章提出的方法是基于回归的方案，因而比起基于分割、anchor机制的算法能够更快一些，并且没有引入任何先验假设。但是，其对车道线特征的refine上就差一些，导致其相比后序的车道线检测算法存在较大的差距。2. 方法设计2.1 整体pipeline文章提出方法的整体pipeline见下图所示：输入的图片经过backbone之后得到高纬度特征，之后经

参考代码：LaneAF1. 概述导读：这篇文章提出了通过语义分割（2分类）检测车道线的算法，不过在其中添加了affinity fields用于区分不同的车道线（从语义分割演变实现“实例分割”）。文中对每条车道线预测两个affinity fields，分别是水平方向和垂直方向。其中水平方向的affinity fields用于归纳当前车道线行的中心点，垂直的affinity fileds用于推断当前车道线下一行预测集合的位置，也就是在图像的行维度上使用水平和垂直的affinity fields进行耦合，从

参考代码：LaneATT1. 概述导读：这篇文章提出了一种使用anchor points进行车道线检测的算法，该算法的设计源自于Line-CNN。其在Line-CNN的基础上增加了一个global attention操作（在“RoI pooling”特征基础上）使得抽取的单个anchor的RoI特征能够感知全局范围的特征，从而利用了全局信息实现车道线更好的定位。在文中还提出在训练集上统计对预先设置anchor集合进行筛选，从而减少proposal数量，可以在原本的基础上进一步减少最后的计算量，因而文章

参考代码：Ultra-Fast-Lane-Detection1. 概述导读：现有很多车道线检测方法都是基于分割网络去做的，这就导致了其在车道线检测困难场景（严重遮挡和极限光照条件下）下的适应性和infer速度上存在问题。在困难场景下车道线的检测往往很依赖车道线区域的上下文和全局信息的获取，但传统的分割网络却很难去获取这样的信息，对此文章提出了一种基于行切分的车道线检测算法，其在特征图的H维度进行展开，并通过全链接（使得其具有全局视野，不同于卷积的局部相关性）的方式在W维度去预测车道线（这里确切应该叫对