《GKT：Efficient and Robust 2D-to-BEV Representation Learning via Geometry-guided Kernel Transformer》

参考代码：GKT

1. 概述

介绍：这篇文章介绍了一种基于几何先验在图像特征中寻找reference points，同时在该reference points处通过预先设置窗口抠取图像特征，并在此基础上使用attention操作实现特征优化，从而获取bev特征的方法。上述通过几何先验寻找reference points的方法可以通过look up table实现加速，这样整体网络的计算耗时就相对较小，可以跑到很高的帧率。对于车辆行驶过程中存在抖动的情况，文中提出了一种扰动机制添加到训练过程中，使得网络对扰动具有一定鲁棒性。

对于bev特征的构建主要分为两个流派：

• 1）基于几何先验：使用相机标定参数实现图像特征到bev特征的映射，以此构建bev特征。但是该方法对相机标定参数依赖强，对于动态场景适应能力较差。见下图左图。
• 2）基于transformer：使用global attention的方式用设定好的bev query在图像特征上做attention从而得到bev特征，以CVT为代表，其收敛性和运算效率上存在瓶颈。但是其实现在也有基于deformable attention的实现，也能带来收敛性和运算效率上的改善，只不过相对这篇文章方法更复杂一些，而且文章就是指着CVT弄的，这个就先别杠。见下图右图。

2. 方法设计

2.1 pipeline

文章提出的方法见下图所示：<