qihshe的博客

感知环境在人类空间感知中起着至关重要的作用，它从观察中提取物体的空间形态以及自由空间。为了使机器人具有这种周围感知能力，我们引入了一种新的视觉任务，称为跨视图语义分割，以及一个名为视图解析网络（VPN）的框架来解决它。在跨视图语义分割任务中，训练智能体将第一视图的观察结果解析成一个自上而下的语义图，该图在像素级上指示所有对象的空间位置。这项任务的主要问题是我们缺乏对自顶向下视图数据的真实注释。为了解决这个问题，我们在3D图形环境中训练VPN，并利用域适应技术将其传输到处理现实世界的数据。

三维目标检测是自动驾驶中的一项重要任务。如果3D输入数据是从精确但昂贵的激光雷达技术获得的，那么最新的技术具有高精度的检测率。到目前为止，基于更便宜的单眼或立体图像数据的方法导致精度大大降低——这一差距通常归因于基于图像的深度估计不佳。然而，在本文中，我们认为这不是数据的质量，而是它的表示，占大部分的差异。考虑到卷积神经网络的内部工作原理，我们建议将基于图像的深度图转换为伪激光雷达表示-本质上模仿激光雷达信号。利用这种表示，我们可以应用不同的现有的基于激光雷达的检测算法。

事实证明，从单眼图像中检测3D物体是一项极具挑战性的任务，目前领先的系统的性能甚至还达不到基于激光雷达的同类系统的10%。对这种性能差距的一种解释是，现有的系统完全受基于透视图像的表示的支配，其中物体的外观和规模随着深度和有意义的距离而急剧变化，很难推断。在这项工作中，我们认为对3D世界进行推理的能力是3D物体检测任务的基本要素。为此**，我们引入了正交特征变换，它使我们能够通过将基于图像的特征映射到正交三维空间来逃避图像域**。

虽然最近的自动驾驶系统专注于开发基于自我车辆传感器的感知方法，但人们往往忽略了利用智能路边摄像头将感知能力扩展到视觉范围之外的另一种方法。我们发现最先进的以视觉为中心的鸟瞰图检测方法在路边摄像头上的性能较差。这是因为这些方法主要集中在相机中心的深度恢复上，随着距离的增加，车与地面的深度差会迅速缩小。在本文中，我们提出了一种简单而有效的方法，称为BEVHeight，来解决这个问题。从本质上讲，我们不是预测像素深度，而是将高度回归到地面，以实现距离不可知的公式，以简化仅相机感知方法的优化过程。

作者提出了一种具有视角监督的新型鸟瞰（BEV）检测器，该检测器收敛速度更快，更适合现代图像主干。现有的最先进的BEV检测器通常与VoVNet等深度预训练的主干相关联，阻碍了蓬勃发展的图像主干与BEV检测器之间的协同作用。为了解决这一限制，我们优先考虑通过引入透视视图监督来简化BEV检测器的优化。为此，我们提出了一种两阶段的BEV探测器，其中来自视角头部的建议被馈送到鸟瞰头部以进行最终预测。为了评估我们的模型的有效性，我们进行了广泛的消融研究，重点是监督的形式和提议的检测器的一般性。