m0_51657509的博客

目标：提升自动驾驶车辆中激光雷达（LiDAR）数据的语义分割技术，提供独立于视觉传感器的语义信息源。方法：提出一种新方法，通过距离图像和卷积神经网络（CNN）实现激光雷达点云的实时语义分割。贡献：新后处理算法解决离散化误差和模糊CNN输出问题，实验显示方法超越现有技术，可在线实时运行。

PointNet++旨在解决PointNet在捕获局部结构方面的局限性，特别是在度量空间中。通过递归地在点集的嵌套划分上应用PointNet，PointNet++能够学习局部特征，并在不同的上下文尺度上进行特征提取。论文还提出了一种新的集合学习层，以适应不同密度的点集，提高网络的性能和鲁棒性。

论文中提出了，一个专门为研究在下进行而设计的数据集。该数据集包含了密集的点级注释，所有数据都来自条件（包括浓雾、轻雾、降雪和降雨）。这一数据集的特点是填补了现有3D分割模型的一个空白，因为大部分现有模型训练时使用的点云数据来自正常天气条件。本研究是首次探索 3DSS的尝试。利用SemanticSTF 数据集使正常到恶劣环境的成为可能。自动驾驶系统高度依赖点云来进行环境感知，这些点云通常是在不同的天气条件下获取的。

背景：点云是3D几何数据的一种重要结构，但其不规则性使得传统深度学习方法难以直接应用。贡献：提出了PointNet，一种新型神经网络，能够直接处理点云数据，保持对输入点排列的不变性。性能：在多个3D识别任务上，PointNet表现出与或超过最先进技术的性能。

背景: 自动驾驶系统中对细粒度感知的需求推动了对单次扫描LiDAR点云在线语义分割的研究。挑战: 近实时延迟需求、LiDAR点云空间分布不均以及细粒度语义类别数量增加。PolarNet: 提出了一种新的LiDAR特定、无需最近邻的分割算法，使用极坐标系下的鸟瞰图表示，平衡了网格单元中的点分布。结果: 在真实城市LiDAR单次扫描的三个不同分割数据集上，mIoU显著提高，同时保持近实时吞吐量。

单帧数据包含有限信息，限制了基于视觉的多相机3D目标检测性能。BEVDet4D提出：提出BEVDet4D范式，将BEVDet从仅空间的3D扩展到时空4D工作空间。改进：通过融合前后帧特征，以极小的计算成本获取时间线索，将速度预测任务简化为位置偏移预测。性能：在nuScenes基准测试中，BEVDet4D-Base配置以54.5%的NDS刷新记录，超越BEVDet-Base 7.3%。

本文提出了一种新的端到端架构，能够直接从任意数量的摄像机图像中提取鸟瞰视图（BEV）场景表示。核心思想是将每个图像**"Lift"到每个摄像机的特征视锥体中，然后将所有视锥体“Splat”到一个BEV视图网格中。通过在完整的摄像机阵列上训练，模型能够学习如何表示图像以及如何将所有摄像机的预测融合成一个连贯的场景表示**，同时对校准误差具有鲁棒性。在标准的鸟瞰视图任务，如物体分割和地图分割上，该模型超越了所有基线和先前的工作。

BEVDet是一种模块化设计的3D目标检测框架，以鸟瞰视图 (Bird-Eye-View, BEV) 执行3D目标检测，通过现有模块构建其框架，并通过定制数据增强策略和优化非极大值抑制策略，大幅提升检测性能。BEVDet在nuScenes验证集上表现出色，BEVDet-Tiny版本仅占用215.3 GFLOPs，速度比FCOS3D快9.2倍。BEVDet-Base版本则在精确度上大幅领先。

阅读论文，想要复现BEVDet的Tiny版本，在原作者的Github最新branch分支中，./configs/bevdet下已经没有tiny的py文件了。将mini dataset下载后的v1.0-mini.tgz解压出来可得到名为v1.0-mini的文件夹，改名为nuscenes，并移动到项目根目录下的。如果数据集不在data文件夹下，需要替换–root-path为相应文件路径，并且在后续训练测试时需要修改config文件。中没有vis.py文件，所以从别的分支中下载vis.py文件并移动至。

进入nuscenes官网注册账号登陆后https://www.nuscenes.org/nuscenes#download下载mini数据集。查找相关解答，‘Config’在mmcv2.0.0以后移动到了mmengine中，需要修改代码，改变思路，重新进行安装。Map expansion下载解压后将文件移动到mini dataset解压出来的Map文件夹中；将mini dataset下载后的v1.0-mini.tgz解压，并改名为nuscenes；在项目根目录下的vis文件夹中。生成项目对应格式的数据集。

论文提出的方法称为Forward-Backward View Transformation（FB-BEV），是一种结合了前向和反向投影的方法，以解决现有的BEV视觉识别方法的局限性(BEV 特征稀疏或由于投影不准确而导致假阳性特征)。本文提出一种前后投影模式，解决当下投影方法的种种不足——通过解决前向投影生成的稀疏特征，以及在反向投影中引入深度信息，构建了一个更加准确的投影关系。通过这种方法，FB-BEV可以同时利用前向和反向投影的优点，生成高质量的BEV特征。生成一个稀疏的BEV特征，然后使用。

​ 提出CenterPoint框架，用于从激光雷达点云中进行3D目标检测和跟踪任务。​ CenterPoint将目标表示为点，从而简化检测和跟踪过程：​ 在backbone构建输入点云的表示并flatten以后，首先使用关键点检测器（keypoint detector）检测对象的中心，并回归到其他属性，包括3D大小、3D方向和速度。在第二阶段使用对象上的其他点特征来细化这些估计。该方法使用标准3D点云编码器和几个卷积层来生成BEV的hotmap和其他密集回归输出。