[论文阅读] SalsaNet: Fast Road and Vehicle Segmentation in LiDAR Point Clouds for Autonomous Driving

最新推荐文章于 2025-12-11 18:51:53 发布
原创 最新推荐文章于 2025-12-11 18:51:53 发布 · 287 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #深度学习 #点云分割

该博客介绍了利用图像道路标注和车辆分割映射到点云上的方法，通过Unet类似网络在前视图和俯视图进行分割。数据处理中，使用MultiNet进行地面分割，MaskRCNN处理车辆，然后在两种视图上进行映射。模型设计包括添加dropout和pooling，以应对3D数据的噪声。为解决类别不平衡问题，采用了类别比例的开方作为损失权重。实验表明，这种方法在性能和速度上都有所表现。关键词涉及点云分割、图像映射和深度学习应用。

文章目录

paper 原论文的链接
code: 源代码链接

1. 主要思想

通过什么方式，解决了什么问题

利用图像的道路标注的掩码，映射到点云地面点，然后生成训练集； 然后将点云前视图和俯视图映射，用类似Unet进行分割； 效果如下：
在这里插入图片描述

2. 具体方法

说明怎么解决的，具体设计是什么, 有什么启发性思考（作者的创新点）

2.1 数据准备过程

  • 如下图所示，整个数据处理过程
  • 1）先用MultiNet进行Kitti的地面分割， 为什么用MultiNet，因为作者说只有这个模型是在Kitti道路图像上训练过模型参数， 然后将图像上分割的映射到点云上。
  • 2）然后再用MaskRCNN进行车辆的语义分割，然后映射到3D点云上
  • 如图中间的效果， 考虑俯视图丢失了高度信息， 然后考虑了两种映射方式，将点云在前视图和俯视图上分别映射，然后用网络去预测学习；

俯视图

  • 1）俯视图范围w=[-6, 12], L=[0，50] --> 映射为256x64大小的2D; cell_size(0.2, 0.3)
    1. 每个cell的编码：Similar to the work in 论文[4], in each grid cell, we compute the mean and maximum elevation, average reflectivity (i.e. intensity) value, and number of projected points.
    1. Compared to 论文[4], we avoid using the minimum and standard deviation values of the height as additional features since our experiments showed that there is no significant contribution coming from those channels.

前视图

  • 1）和SqueezeSeg一样的投射方式
  • 2）前视图一个不好的特性：遮挡，弯曲和变形：Although SFV returns more dense representation compared to BEV, SFV has certain distortion and deformation effects on small objects, e.g. vehicles. It is also more likely that objects in SFV tend to occlude each other. We, therefore, employ BEV representation as the main input to our network.
    在这里插入图片描述2.2 模型
  • 在conv_block中的最后一层添加dropout和pooling; dropout对与3D这种噪声大的数据可能有好处；
  • 下采样16x；
  • dropout放置的位置作者给出了说明，参考的是文献[26]，We here emphasize that dropout needs to be placed right after batch normalization. As shown in [26], an early application of dropout can otherwise lead to a shift in the weight distribution and thus minimize the effect of batch normalization during training.
    在这里插入图片描述2.3 类别不平衡问题
  • 用类别比例的开方作为loss weight的比例
    在这里插入图片描述2.4 训练超参数配置
  • 数据增强的特殊方式： adding random pixel noise with probaility of 0.5, random rotation [-5,5]

3. 实验支撑

记录一些关键实验的结论分析，具有启发性的实验和结论

  • 性能对比（外部）
    在这里插入图片描述- 俯视图和前视图的性能对比 （内部）
    在这里插入图片描述
    在这里插入图片描述- 速度对比
    在这里插入图片描述
    在这里插入图片描述

4. 总结启示

针对中心思想和实验结论的总结和扩展思考
扩展思考 : 也就是用自己已有的知识或者自己的“土话”，重新理解paper（费曼学习法的精髓-便于记忆和举一反三的应用）

  • 下面引用[11]需要学习一下， 如何半自动标注
  • 这个论文的揭露了我们不一定把所有地面标出来，可以只标注freespace
  • 这个论文loss weight的设计有一定参考价值
  • 性能对比，不仅仅IOU， precision和recall的性能对比

5. 相关文献

主要的比较贴近的文献,关键性文献

Fast Segmentation of 3D Point Clouds: A Paradigm on LiDAR Data for Autonomous Vehicle Applications阅读
工大机器人工作室
10-28 1683
该篇点云论文主要分为两个阶段的创新： ①点云地面点的提取(Ground Plane Fitting, GPF)； ②点云扫描聚类快速提取(Scan Line Run, SLR)； 一、Ground Plane Fitting, GPF 先上伪代码图 解释： 第一步：首先根据输入的点云，进行一个按照高度的排序，选出N个高度最低的点，并求取高度平均值，作为后续初始种子的评价，根据高度和预设的阈值进行划分，得到种子点云（可以理解为地面点云的初始化） 第二步：根据获得的初始化点云，求取平面的法向量
地面分割：Fast Segmentation of 3D Point Clouds for Ground Vehicles
TiRan_Yang
07-16 9914
论文链接：Fast segmentation of 3D point clouds for ground vehicles | IEEE Conference Publication | IEEE Xplore 代码链接：GitHub - lorenwel/linefit_ground_segmentation: Ground Segmentation 论文的核心思想： 相比Fast Segmentation of 3D Point Clouds: A Paradigm on LiDAR Data for
[论文翻译] SalsaNet: Fast Road and Vehicle Segmentation in LiDAR Point Clouds for Autonomous Driving
banzixiang的博客
04-23 467
激光电晕 语义分割
论文速读 -- SalsaNet: Fast Road and Vehicle Segmentation in LiDAR Point Clouds for Autonomous Driving
Darchan的博客
03-05 485
SalsaNet： 点云语义分割早期作品，主要针对road和vehicle，模型结构简单
SalsaNext:用于自动驾驶的LiDAR点云的不确定度感知语义分割
05-14
SalsaNext：用于自动驾驶的LiDAR点云的快速，不确定性感知语义分割 抽象的 在本文中，我们将SalsaNext用于实时的完整3D LiDAR点云的不确定性感知语义分割。 SalsaNext是SalsaNet的下一版本，它具有编码器-解码器体系结构，其中编码器单元具有一组ResNet块，而解码器部分则结合了来自剩余块的上采样特征。 与SalsaNet相比，我们引入了一个新的上下文模块，将ResNet编码器块替换为具有逐渐增加的接收场的新残差扩张卷积堆栈，并在解码器中添加像素混洗层。 此外，我们从跨步卷积切换到平均池化，还应用了中心辍学处理。 为了直接优化Jaccard指数，我们进一步将加权交叉熵损失与Lovasz-Softmax损失相结合。 最后，我们注入贝叶斯处理，以计算云中每个点的认知和无意识不确定性。 我们对Semantic-KITTI数据集进行了全面的定量评估，这表明拟议的
自动驾驶点云处理文章（转自github）
m0_37870385的博客
05-17 2520
Lidar Point clound processing for Autonomous Driving A list of references on lidar point cloud processing for autonomous driving LiDAR Pointcloud Clustering/Semantic Segmentation Tasks : Road/Ground extraction, plane extraction, Semantic segmentation, open
Fast Segmentation of 3D Point Clouds: A Paradigm on LiDAR Data for Autonomous Vehicle Applications
weixin_42718092的博客
06-23 5204
原文下载链接：https://www.researchgate.net/publication/318325507_Fast_Segmentation_of_3D_Point_Clouds_A_Paradigm_on_LiDAR_Data_for_Autonomous_Vehicle_Applications 摘要 最近在无人驾驶汽车导航领域的活动引发了一系列的反应，这些反应刺激了汽车工业，推...
论文阅读：SalsaNext: Fast, Uncertainty-aware Semantic Segmentationof LiDAR Point Clouds for Autonomous D
qq_53086461的博客
04-23 1936
本文介绍SalsaNext
地面分割：Fast Segmentation of 3D Point Clouds A Paradigm on LiDAR Data
TiRan_Yang
07-15 4525
Fast Segmentation of 3D Point Clouds: A Paradigm on LiDAR Data for Autonomous Vehicle Applications 代码链接：https://github.com/VincentCheungM/Run_based_segmentation 论文链接：Fast segmentation of 3D point clouds: A paradigm on LiDAR data for autonomous vehicle a
【论文速递】PolarNet: An Improved Grid Representation for Online LiDAR Point Clouds Semantic Segmentation
冯子材的博客
11-08 3851
摘要 自动驾驶系统中对细粒度感知的需求导致最近对单扫描LiDAR的在线语义分割的研究增加。尽管出现了新的数据集和技术进步，但由于以下三个原因，它仍然具有挑战性：（1）需要有限硬件的近实时延迟； （2）LiDAR点在整个空间中的分布不均匀甚至长尾； （3）越来越多的极细粒度的语义类。为了共同解决所有上述挑战，提出了一种新的特定于LiDAR的，无近邻的分割算法-PolarNet。我们的极鸟瞰图表示法不是使用通用的球面或鸟瞰图投影，而是在极坐标系中平衡网格单元之间的点，从而使分割网络的注意力与沿点的长尾分布间接对
论文阅读：RGB and LiDAR fusion based 3D Semantic Segmentationfor Autonomous Driving
qq_53086461的博客
12-04 907
基于 RGB 和 LiDAR 融合的自动驾驶 3D 语义分割
大场景三维点云语义分割模型
qq_43232556的博客
06-14 6757
大场景三维点云语义分割模型基于2D的方法SqueezeSeg系列一、简介二、核心思路总结三、要点分析四、总结 近来关于在无人驾驶场景的大场景点云语义分割方法异常火热，也崩出很多好的idea，这些方法大致分为两类，基于2D的和基于3D的。2D的基本思路是将点云按照某种方式投影到2D平面，并应用成熟的2D语义分割网络做处理。3D的方法一般是直接在3D空间提取特征信息。还有一些方法会融合图像的信息来帮助点云的语义分割。 基于2D的方法 SqueezeSeg系列 SqueezeSeg (https://github
【论文阅读】多密钥低通信轮次的联邦学习安全聚合
wzx_442011334的博客
12-10 427
做到多密钥环境下的“单轮、无交互聚合”；支持任意数量的客户端掉线；安全性强：服务器与客户端均无法恢复其他实体的更新；精确加解密；无需可信第三方、无需多服务器架构；
TDT Loss Takes It All论文阅读
最新发布
weixin_64787709的博客
12-11 524
本文提出了 TDT Loss 这一无参数、即插即用的优化目标，将 TDT 学习整合到非自回归模型中，能够兼顾自回归和非自回归方法的优点。TDT Loss 使用符号不一致比例作为自适应权重 ρ ，动态地平衡了对未来序列预测的学习和对细粒度 TDT 拟合的学习。 TDT Loss 以可忽略不计的额外成本（计算复杂度 O（H），内存 O（1）显著提高了 SOTA 非自回归模型的预测性能。
【论文笔记•（智能体）】BAR: A Backward Reasoning based Agent for Complex Minecraft Tasks
m0_67549907的博客
12-10 981
BAR: 基于反向推理的Minecraft复杂任务智能体 摘要：本文提出BAR智能体，通过反向推理解决Minecraft复杂任务规划问题。针对正向推理在初始与目标状态间存在的感知鸿沟，BAR采用三模块架构：1)递归目标分解模块从目标状态逆向分解任务；2)状态一致性维护模块融合正反向推理解决状态冲突；3)阶段记忆模块复用高成功率分解结果提升效率。实验表明，BAR在静态与动态规划任务中均显著优于现有SOTA方法，验证了其在复杂任务规划中的优越性。该方法为开放世界环境中的智能体规划提供了新思路。
【论文阅读】VQ-VAE|Neural Discrete Representation Learning首个提出 codebook 机制的生成模型
一碗白开水一
12-09 890
VQ-VAE（Vector Quantized Variational Autoencoder）是一种结合向量量化的变分自编码器，由DeepMind提出。其核心思想是将连续隐变量离散化，通过码本（codebook）学习离散表示，适用于图像、音频等数据的生成与压缩。
FlowBench论文阅读：Workflow-Guided Planning for LLM-based Agents
阿正的梦工坊
12-08 653
FlowBench 是 EMNLP 2024 论文《FlowBench: Revisiting and Benchmarking Workflow-Guided Planning for LLM-based Agents》提出的首个工作流引导代理规划基准，旨在评估 LLM-based Agents 在知识密集型任务中的规划可靠性。
【论文笔记】《Improving action segmentation via explicit similarity measurement》
feizuiku0116的博客
12-08 7357
本文提出了一种基于显式相似性度量的动作分割方法ASESM，通过多分辨率特征提取和相似性投票提高初始预测精度，并设计迭代边界校正算法优化动作边界。监督学习框架采用多编码器结构，结合边界校正与片段平滑技术，在50Salads等数据集上验证了有效性。同时提出完全无监督的边界检测方法，仅依赖特征相似性无需训练。该方法解决了现有技术过度依赖逐帧分类和缺乏边界验证机制的问题，显著提升了动作分割性能。
【论文阅读】3D-VisTA：具身智能中统一多种下游任务的预训练Transformer模型
m0_62128746的博客
12-08 395
2023-https://3d-vista.github.io/-提出了首个用于3D-VL预训练的大规模数据集ScanScribe，提出了3D视角下的pretrain Transformer
Instance Segmentation Frustum–PointPillars: A Lightweight Fusion Algorithm for Camera–LiDAR Perception in Autonomous Driving
04-28
### Frustum-PointPillars 的具体方法 Frustum-PointPillars 是一种高效的多模态融合算法，它结合了相机和激光雷达的优势，在自动驾驶场景中实现了实例分割任务。该方法的核心在于通过投影的方式将二维图像信息与三维点云数据相结合，从而减少计算复杂度并提升性能。 #### 方法概述 Frustum-PointPillars 将 2D 图像中的感兴趣区域 (ROI) 投影到 3D 点云的空间范围（即 frustum），随后仅对该子集内的点云进行处理[^1]。这种方法显著减少了需要处理的点云数量，同时保留了来自图像的语义信息。以下是其实现的关键部分： 1. **基于图像的目标检测** 使用 CNN 对输入的 RGB 图像进行目标检测，生成一组边界框（bounding boxes）。这些边界框定义了可能包含对象的 ROI 区域[^2]。 2. **Frustum 提取** 利用相机内外参矩阵，将每个 2D 边界框映射至对应的 3D 坐标系下的锥形空间（frustum）。此操作筛选出了与当前目标相关的点云子集。 3. **PointPillars 编码器** PointPillars 是一种高效点云编码方式，采用动态体素化技术将点云划分为固定尺寸的小柱状单元（pillars）。对于提取出的 frustum 数据，应用相同的编码流程以生成 BEV 特征图[^2]。 4. **特征融合与分类** 结合从图像中提取的高级语义特征以及由 PointPillars 得到的几何特征，构建一个多通道特征向量。最终送入全连接层完成类别预测与边界的回归运算[^2]。 --- ### 实现代码示例 以下为 Python 和 PyTorch 下的一个简化版实现框架： ```python import torch from torchvision import models from point_pillars_encoder import PillarEncoder # 自定义或第三方库 class FrustumPointPillars(torch.nn.Module): def __init__(self, num_classes=3): super(FrustumPointPillars, self).__init__() # 加载预训练的图像特征提取模型 self.image_feature_extractor = models.resnet18(pretrained=True) self.image_feature_extractor.fc = torch.nn.Identity() # 移除最后的 FC 层 # 初始化 PointPillars 编码器 self.pillar_encoder = PillarEncoder() # 融合后的分类头 self.classifier_head = torch.nn.Sequential( torch.nn.Linear(512 + 64, 128), # 合并图像特征与点云特征 torch.nn.ReLU(), torch.nn.Dropout(p=0.5), torch.nn.Linear(128, num_classes) ) def forward(self, image, lidar_points, camera_intrinsics, extrinsics): """ :param image: 输入的RGB图像 [batch_size, C, H, W] :param lidar_points: 激光雷达点云 [num_points, 3] :param camera_intrinsics: 相机内参数矩阵 [3, 3] :param extrinsics: 外参数矩阵 [4, 4] """ # Step 1: 图像特征提取 img_features = self.image_feature_extractor(image) # 输出维度取决于 ResNet 配置 # Step 2: 计算 frustums 并过滤点云 frustums = compute_frustums(camera_intrinsics, extrinsics, img_features.shape[-2:]) # 获取 frustum 子集 filtered_lidar_points = filter_points_in_frustums(lidar_points, frustums) # 只保留相关点 # Step 3: PointPillars 编码 pillar_features = self.pillar_encoder(filtered_lidar_points) # Step 4: 特征拼接与分类 combined_features = torch.cat((img_features.flatten(start_dim=1), pillar_features.flatten(start_dim=1)), dim=-1) predictions = self.classifier_head(combined_features) return predictions def compute_frustums(intrinsics, extrinsics, roi_shape): """根据相机内外参及 ROI 形状计算 frustums""" pass # 具体逻辑省略 def filter_points_in_frustums(points, frustums): """筛选位于指定 frustums 中的点云""" pass # 具体逻辑省略 ``` --- ### 性能优化建议 为了进一步提高效率，可以考虑以下几个方面： - **稀疏张量加速**: 在 GPU 上使用稀疏张量表示 pillars，降低内存占用。 - **轻量化网络设计**: 替代标准 ResNet 或 VGG，选用 MobileNet 等更适合嵌入式设备的架构。 - **硬件支持**: 如果部署环境允许，可借助 NVIDIA Jetson AGX Xavier 等专用芯片运行推理过程[^3]。 --- ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值