BEV视图论文综述：LSS、DETR3D、BEVFormer与GKT的网络结构与细节-优快云博客

本文链接：https://blog.youkuaiyun.com/qq_45961101/article/details/127964024

LSS (ECCV 2020)

在这里插入图片描述

在lifts中，输入图片的维度为3 $\times$ H $\times$ W ，我们提取到的特征的维度为H $\times$ W $\times$ D $\times$ C。其中D是离散距离的向量表征，C是上下文的向量表征。如上图所示。
在splats中，添加相机内外参信息（extrinsics and intrinsics），通过Pillar Pooling来对lifts得到的特征点云转化到bev map上，输出的特征维度为H $\times$ W $\times$ C。
在shoots中，在cost map上对不同的轨迹进行计算评分，在操作的过程中使用了k-means。

DETR3D

Feature Learning：6张输入图片，经过ResNet和FPN之后，得到四组具有丰富信息的特征集合。输入为6 $\times$ H_im $\times$ W_im $\times$ 3，输出为 4 $\times$ 6 $\times$ H $\times$ W $\times$ C。
Detection Head：预测一系列与物体检测相关的边界框中心(x,y,z)；使用相机转换矩阵将3D中心映射到二维特征图上；根据映射之后的中心点通过双线性插值对特征进行采样，并将它们合并到对象查询中；使用多注意头机制描述对象。几轮迭代之后得到的检测查询q，经过两个卷积结构之后得到检测的box和label。
Loss：继承于DETR，使用Hungarian算法。针对类别预测，使用focal loss；针对检测框预测，使用L¹ loss。

在这里插入图片描述

BEVFormer

backbone：首先通过骨干网络对二维图片特征进行提取。
encode：
- three parts：grid-shaped BEV queries, temporal self-attention, and spatial cross-attention.
- temporal self-attention：每个BEV查询与两个特征交互：当前时间戳的BEV查询和上一个时间戳的BEV特征。
- spatial crossattention：每个BEV查询只与感兴趣区域的图像特征进行交互

在这里插入图片描述

Geometry-guided Kernel Transformer：添加几何先验，把bev map中的不同位置对应到不同图片的不同位置上。
Robustness to Camera Deviation：GKT对于相机位置的偏移比较鲁棒。
BEV-to-2D LUT Indexing：建立一个LUT（look-up table），用于把bev map中的grid与图片中的像素区域对应起来（我觉得这个对应只是能对应到角度）。
Configuration of Kernel：GKT的内核配置是灵活的。

Geometry-guided Kernel Transformer：首先通过骨干网路提取二维特征，把bev map分成一定数量的grid，我们通过一个query，把bev map中的不同位置的grid对不同位置的特征图进行查询（这个特征图包含深度信息，不然只能查询到view而查询不到深度位置（opinion：对于深度的估计在bev map分各种占据着极其重要的意义））
Robustness to Camera Deviation：GTK通过对相机的位置增加位移噪声和旋转噪声来验证/保证网络对于相机从原本位置发生偏移的鲁棒性。
BEV-to-2D LUT Indexing：对于bev map中的每个grid的kernel region是固定的，可以离线进行计算。然后，通过建立一个LUT，把bev map中的grid与对对应的图像像素区域关联起来，进而进行特征的高效分配。
Configuration of Kernel：GKT可以通过调整kernel的尺寸来平衡感受野大小和计算量的大小。并且由于前期LUT的建立，调整kernel的大小并不会影响GKT的效率。