m0_51657509的博客

目标：提升自动驾驶车辆中激光雷达（LiDAR）数据的语义分割技术，提供独立于视觉传感器的语义信息源。方法：提出一种新方法，通过距离图像和卷积神经网络（CNN）实现激光雷达点云的实时语义分割。贡献：新后处理算法解决离散化误差和模糊CNN输出问题，实验显示方法超越现有技术，可在线实时运行。

论文中提出了，一个专门为研究在下进行而设计的数据集。该数据集包含了密集的点级注释，所有数据都来自条件（包括浓雾、轻雾、降雪和降雨）。这一数据集的特点是填补了现有3D分割模型的一个空白，因为大部分现有模型训练时使用的点云数据来自正常天气条件。本研究是首次探索 3DSS的尝试。利用SemanticSTF 数据集使正常到恶劣环境的成为可能。自动驾驶系统高度依赖点云来进行环境感知，这些点云通常是在不同的天气条件下获取的。

60epochs只需要训练23hours左右，并在45epoch时达到最好结果。在ptBEVnet实例化网络时，pt_selection = 'farthest’使用FPS策略进行训练。训练25epochs，共训练78hours左右。nuScenes数据集训练40epochs。训练后在sequence08上的验证结果。默认参数训练，共训练55hours左右。TitanXp(12GB)单卡。最好结果出现在38epochs。最好结果出现在19epoch。训练60epochs。

背景: 自动驾驶系统中对细粒度感知的需求推动了对单次扫描LiDAR点云在线语义分割的研究。挑战: 近实时延迟需求、LiDAR点云空间分布不均以及细粒度语义类别数量增加。PolarNet: 提出了一种新的LiDAR特定、无需最近邻的分割算法，使用极坐标系下的鸟瞰图表示，平衡了网格单元中的点分布。结果: 在真实城市LiDAR单次扫描的三个不同分割数据集上，mIoU显著提高，同时保持近实时吞吐量。

单帧数据包含有限信息，限制了基于视觉的多相机3D目标检测性能。BEVDet4D提出：提出BEVDet4D范式，将BEVDet从仅空间的3D扩展到时空4D工作空间。改进：通过融合前后帧特征，以极小的计算成本获取时间线索，将速度预测任务简化为位置偏移预测。性能：在nuScenes基准测试中，BEVDet4D-Base配置以54.5%的NDS刷新记录，超越BEVDet-Base 7.3%。

本文提出了一种新的端到端架构，能够直接从任意数量的摄像机图像中提取鸟瞰视图（BEV）场景表示。核心思想是将每个图像**"Lift"到每个摄像机的特征视锥体中，然后将所有视锥体“Splat”到一个BEV视图网格中。通过在完整的摄像机阵列上训练，模型能够学习如何表示图像以及如何将所有摄像机的预测融合成一个连贯的场景表示**，同时对校准误差具有鲁棒性。在标准的鸟瞰视图任务，如物体分割和地图分割上，该模型超越了所有基线和先前的工作。

阅读论文，想要复现BEVDet的Tiny版本，在原作者的Github最新branch分支中，./configs/bevdet下已经没有tiny的py文件了。将mini dataset下载后的v1.0-mini.tgz解压出来可得到名为v1.0-mini的文件夹，改名为nuscenes，并移动到项目根目录下的。如果数据集不在data文件夹下，需要替换–root-path为相应文件路径，并且在后续训练测试时需要修改config文件。中没有vis.py文件，所以从别的分支中下载vis.py文件并移动至。

BEVDet是一种模块化设计的3D目标检测框架，以鸟瞰视图 (Bird-Eye-View, BEV) 执行3D目标检测，通过现有模块构建其框架，并通过定制数据增强策略和优化非极大值抑制策略，大幅提升检测性能。BEVDet在nuScenes验证集上表现出色，BEVDet-Tiny版本仅占用215.3 GFLOPs，速度比FCOS3D快9.2倍。BEVDet-Base版本则在精确度上大幅领先。