1、Occ3D: A Large-Scale 3D Occupancy Prediction Benchmarkfor Autonomous Driving
本文构建了3D占据栅格标注数据流程以及标准数据集,并提出了粗到精的占据栅格网络且性能相较于BEVDet和BEVFormer有一定提升。
GitHub - Tsinghua-MARS-Lab/Occ3D
数据构建流程
(1)数据采集;标注数据流需要3D数据库,每个场景包含如下数据,分别是多摄像头的图像序列;3D雷达点云序列;IMU的3D位姿序列;所有传感器的内外参;除此以外,我们需要人工标注常见目标并选择性标注点级别的语义标签;
(2)点云重建;通过slam实现点云重建,重点将点云和IMU位姿进行联合优化。同时,我们处理动态和静态目标,动态目标根据每帧进行聚集。采用K紧邻来投票确定语义标签;
(3) 雷达可视化。通过光线追踪,将每个voxel确定为占据、空闲和未观测三种类别;
(4)遮挡推断和摄像头可视化;通过占据点与摄像头连线,得到观测和非观测,没有每扫描到的点也设置为非观测点。
确定voxel是否3D占据是非常重要的,评估只是在雷达和摄像头的可观测的部分进行。
2、A Simple Attempt for 3D Occupancy Estimation in Autonomous Driving
(1)本文设计了一种简单的3D Occupancy网络结构,在2D特征转到3D空间时没有使用参数,而是直接投影;
(2)BEV特征通过3D卷积进