77wpa的博客

在高清地图（HDMaps）的辅助下，自动驾驶汽车正逐步驶入城市道路。然而，对高清地图的依赖阻碍了自动驾驶汽车进入缺乏这种昂贵数字基础设施的区域。这一现状促使许多研究人员研究在线高清地图生成算法，但这些算法在远距离区域的性能仍不尽如人意。我们提出了P-MapNet，其中字母P强调我们专注于融合地图先验信息以提升模型性能。具体而言，我们利用了标清地图（SDMap）和高清地图（HDMap）中的先验信息。一方面，我们从OpenStreetMap中提取弱对齐的标清地图，并将其编码为额外的条件分支。

与对通用视觉的广泛研究相比，针对可扩展式视觉自动驾驶的预训练研究仍鲜有涉及。视觉自动驾驶应用需要同时包含语义、三维几何和时间信息的特征，以实现联合感知、预测和规划，这对预训练提出了巨大挑战。为解决这一问题，我们提出了一种新的预训练任务，称为视觉点云预测，即从历史视觉输入中预测未来的点云。该任务的关键优势在于能够协同学习语义、三维结构和时间动态，因此在各种下游任务中表现出优越性。为应对这一新问题，我们提出了ViDAR，这是一种用于预训练下游视觉编码器的通用模型。它首先通过编码器提取历史嵌入。

考虑到缓解3D物体检测中普遍存在的长尾缺陷和复杂形状缺失的能力，占用预测已成为自动驾驶系统中的关键组件。然而，三维体素级表示的处理不可避免地在内存和计算中引入大量开销，阻碍了最新占用预测方法的部署。与使模型变得更大和更复杂的趋势相反，我们认为理想的框架应该对各种芯片友好地部署，同时保持高精度。为此，我们提出了一种即插即用范例，即FlashOCC，以巩固快速和内存高效的占用预测，同时保持高精度。特别地，我们的FlashOCC基于当代体素级占用预测方法进行了两项改进。

现代自动驾驶系统的特点是按顺序执行模块化任务，即感知、预测和规划。为了执行各种各样的任务并实现高级智能，当代方法要么为单个任务部署独立模型，要么设计一个具有独立头部的多任务范式。然而，他们可能会出现累积错误或任务协调不足。相反，我们认为应该设计并优化一个有利的框架，以实现最终目标，即自动驾驶汽车的规划。为此，我们重新审视了感知和预测中的关键组成部分，并对任务进行了优先级排序，以便所有这些任务都有助于规划。

多传感器融合对于准确可靠的自动驾驶系统至关重要。最近的方法是基于点级融合：用相机特征增强激光雷达点云。然而，相机到激光雷达的投影丢弃了相机特征的语义密度，阻碍了这种方法的有效性，尤其是对于面向语义的任务（如3D场景分割）。在本文中，我们用BEVFusion打破了这一根深蒂固的惯例，BEVFusions是一种高效通用的多任务多传感器融合框架。它在共享鸟瞰图（BEV）表示空间中统一了多模态特征，很好地保留了几何和语义信息。