用RandLA-Net 训练Semantic3D

最新推荐文章于 2025-03-04 16:48:51 发布
最新推荐文章于 2025-03-04 16:48:51 发布
阅读量5.6k 收藏 58
点赞数 5
分类专栏： 3D点云处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_24505417/article/details/108987171
版权

RandLA-Net 细节介绍（代码）

  • RandLA-Net 亮点1------基于概率的训练样本选取和随机下采样：

       https://blog.youkuaiyun.com/qq_24505417/article/details/108977386

  • RandLA-Net 亮点2------local feature aggregation： 

       https://blog.youkuaiyun.com/qq_24505417/article/details/108982154

  • RandLA-Net Decoder：

       https://blog.youkuaiyun.com/qq_24505417/article/details/108988259

 

训练参数

显卡: NVIDA TITAN Xp

训练次数: 100个epoch, 每个epoch 500 steps, batch_size ==4

learning_rate: 1e-2

optimizer: Adam

训练时间: 8h

 

1. 下载数据并放置在合适位置

使用sh utils/download_semantic3d.sh 下载 或者去官网下载.

下载的原始数据放置在data/semantic3d/original_data文件夹下

2. 数据预处理

python utils/data_prepare_semantic3d.py

这一步是对原始点云数据进行网格采样, 包含0.01 和0.06 两次, 最终用于训练的数据是0.06采样后的点云.

3. 训练

python main_Semantic3D.py --mode train --gpu 0

训练结果:

只有下一个epoch的训练结果(Mean IoU)好于当前epoch,才会保存模型训练结果. 最后一个epoch的模型并不一定是最优模型.

训练保存的模型文件在results里面

38501/500 ~= 77 (epoch 从0开始计数,也就是epoch==76时)

最优epoch所对应的训练日志:

****EPOCH 76****
Step 00038050 L_out=1.568 Acc=0.95 ---  603.29 ms/batch
Step 00038100 L_out=1.141 Acc=0.95 ---  591.83 ms/batch
Step 00038150 L_out=0.868 Acc=0.96 ---  582.45 ms/batch
Step 00038200 L_out=0.822 Acc=0.96 ---  594.24 ms/batch
Step 00038250 L_out=0.673 Acc=0.95 ---  591.06 ms/batch
Step 00038300 L_out=1.119 Acc=0.97 ---  595.11 ms/batch
Step 00038350 L_out=1.058 Acc=0.96 ---  601.45 ms/batch
Step 00038400 L_out=1.346 Acc=0.96 ---  615.70 ms/batch
Step 00038450 L_out=0.771 Acc=0.97 ---  597.55 ms/batch
Step 00038500 L_out=0.634 Acc=0.94 ---  706.30 ms/batch
eval accuracy: 0.9015642582695459
mean IOU:0.697714954433361
Mean IoU = 69.8%
--------------------------------------------------------
69.77 | 95.32 84.13 82.35 32.68 85.45 24.94 61.43 91.88
--------------------------------------------------------

Best m_IoU is: 69.771

 

4. 测试:

python main_Semantic3D.py --mode test --gpu 0

测试标签文件:

 

效果展示(reduce-8):

展示动画:https://www.bilibili.com/video/av328567728/)

场景1: MarketplaceFeldkirch_Station4_rgb_intensity-reduced(上:原图;下图:预测结果)

场景2 : sg27_station10_rgb_intensity-reduced

 

在tensorflow2.0环境下使用RandLA-Net训练Semantic3D数据集
zhaoguanhua的博客
07-26 8045
最近在做点云语义分割，RandLA-Net是比较新的针对大规模点云的语义分割网络，之前一直使用的是torch版本的代码在训练自己的数据集，训练结果一直很差，同时我在Semantic3D数据集上训练的效果也很差，有几类精度始终为0，最终平均iou只有20%多，这和作者论文中给出的实验结果相差很大。 为了验证是否是我使用的pytorch工程代码的问题，我打算在作者自己提供的代码上测试一下Semantic3D数据集，RandLA-Net作者在github上发布的是tensorflow版本的代码，而且是tensor
基于RandLA-Net的自定义数据集训练与点云语义分割
api_debug626的博客
09-28 684
这为点云数据的应用提供了新的可能性，并在机器人、自动驾驶和虚拟现实等领域中具有重要意义。根据数据集的不同，在模型中进行相应的调整和修改，以适应自定义数据集的特点。点云是由大量的点构成的三维数据集，具有广泛的应用领域，如机器人感知、自动驾驶和虚拟现实等。这包括将点云数据转换为网络可接受的格式，例如将点云坐标规范化到单位球上，并进行采样和切分等操作。使用准备好的数据集和预处理后的数据，开始进行网络模型的训练。例如，在机器人感知任务中，可以将训练好的模型部署到硬件设备上进行点云语义分割，以实现环境感知和决策。
CVPR 2020——RandLA-Net: Efficient Semantic Segmentation of Large-Scale Point Clouds （已开源）
Dujing2019的博客
03-17 8022
CVPR 2020 | RandLA-Net:大场景三维点云语义分割新框架（已开源）(一) Authors(二) Abstract（三）Introduction（三）Related Work（四）RandLA-Net4.1. Overview4.2. The quest for efficient sampling4.3. Local Feature Aggregation 论文链接: https...
【RandLA-Net】基于自建数据训练大场景语义分割网络RandLA-Net
Addery的学习日常
03-04 912
【RandLA-Net】基于自建数据训练大场景语义分割网络RandLA-Net
利用randlanet训练示例semantic3D数据并将预测结果可视化
04-21 1566
利用randlanet训练semantic3D数据，并将预测结果可视化
大场景点云分割利器RandLA-Net（代训练）
2401_82375734的博客
09-29 383
RandLA-Net，一种高效且轻量级的神经网络架构，可以直接推断大规模点云的每个点的语义。方法的关键在于使用随机点采样，而不是更复杂的点选择方法。为了解决这个问题，我们引入了一种新颖的局部特征聚合模块，以逐步增加每个3D点的感受野，从而有效保留几何细节。大量实验表明，RandLA-Net可以在单次传递中处理100万个点，其速度比现有方法快200倍。此外，RandLA-Net在两个大规模基准Semantic3D和SemanticKITTI上的语义分割性能表现优越。
环境感知算法——4.RandLA-Net基于SemanticKITTI训练
wenquantongxin的博客
06-03 3646
基于SemanticKITTI训练训练RandLA-Net
RandLA-Net
鱼遇的博客
10-21 537
RandLA-Net 参考：https://zhuanlan.zhihu.com/p/110514163?from_voters_page=true 背景 现阶段很多方法在三维目标识别和语义分割等任务上，仍然局限于非常小的点云上。比如PointNet在处理SDIS数据集都会对数据集进行预处理，将点云切成1mx1m的小点云块。 ...
RandLA-Net-pytorch:RandLA-Net（https的Pytorch实施
05-23
RandLA-Net-pytorch 该存储库包含的实现。 我们现在仅支持SemanticKITTI数据集。 （欢迎大家共同发展，提高公关意识） 我们的模型几乎与原始实现一样好。 （验证集：我们的52.9％的mIoU与原始的53.1％） 我们将...
RandLA-Net-Enhanced:RandLA-Net改进版
05-03
title={RandLA-Net: Efficient Semantic Segmentation of Large-Scale Point Clouds}, author={Hu, Qingyong and Yang, Bo and Xie, Linhai and Rosa, Stefano and Guo, Yulan and Wang, Zhihua and Trigoni, Niki...
使用TensorFlow环境下的RandLA-Net对Semantic3D数据集进行训练
XlltEditor的博客
09-19 294
在本文中，我们将探讨如何在TensorFlow环境下使用RandLA-Net（Randomized Point Cloud Labeling Network）来训练Semantic3D数据集。RandLA-Net是一个用于点云语义分割的深度学习模型，它可以对点云数据进行高效的标签预测。首先，我们定义了RandLA-Net模型，其中包含了PointNet模块和RandLA模块，用于提取点云的局部和全局特征。请注意，上述代码仅提供了基本的框架和示例，实际上还需要根据具体的数据集和任务进行适当的调整和优化。
RandLA-Net:andTandorflow中的RandLA-Net（CVPR 2020，口服）
05-03
RandLA-Net：大规模点云的有效语义分割（CVPR 2020） 这是RandLA-Net （CVPR2020，口头演示）的官方实施， RandLA-Net是一种简单高效的神经体系结构，用于大规模3D点云的语义分割。 有关技术细节，请参阅： RandLA-Net：大规模点云的有效语义分割， ，，，，， ，。 [] [] [] [] （1）设置 该代码已在Ubuntu 16.04上使用Python 3.5，Tensorflow 1.11，CUDA 9.0和cuDNN 7.4.1进行了测试。 克隆存储库 git clone --depth=1 https://github.com/QingyongHu/RandLA-Net && cd RandLA-Net 设置python环境 conda create -n randlanet python=3.5 source activate
使用TensorFlow环境下的RandLA-Net训练Semantic3D数据集
.
08-05 367
在点云数据中，语义分割是一个重要的任务，它旨在将点云中的每个点分配给其相应的语义类别。本文将介绍如何使用TensorFlow环境下的RandLA-Net模型对Semantic3D数据集进行语义分割，并提供相应的源代码。通过上述步骤，我们可以使用TensorFlow环境下的RandLA-Net模型对Semantic3D数据集进行语义分割。你可以根据自己的需求调整模型的结构和训练参数，以获取更好的结果。这个函数将读取Semantic3D数据集中的点云数据和标签数据，并返回一个点云和标签的元组。
RandLA-Net——大规模点云的高效语义分割
m0_57122465的博客
08-04 822
RandLA-Net是基于point-wise MLP的方法。特点：之前的方法只要运用于小规模的点云语义分割，此方法可以运用在大规模点云的语义分割上面。创新点主要是：1、采取了随机点取样，而不是更复杂的点选择方法（比如pointnet++使用的是最远距离取样fps），可以使计算复杂度和内存效率变得显著。2.引入了一种新的局部特征聚合模块，逐步增加每个三维点的接受域，从而有效地保留几何细节。最后实验证明：RandLA-Net可以一次处理100万个点，比现有的方法快200倍。
RandLA-Net 亮点1------基于概率的训练样本选取和随机下采样
qq_24505417的博客
10-09 3069
对于大场景点云数据来说, 人为切割会破坏物体原本的几何形状,因此RandLA-Net采用随机采样的方式,从概率最小的点开始,选取周边一定范围的点集 1.预处理 对原始数据进行网格采样:包括0.01降采样和0.06降采样. 将每个立方体内的点做均值，并统计该立方体内的每个类别的数量，将占比最大的类别作为采样后的类别. 采样: # Subsample to save space sub_points, sub_colors, sub_labels = DP.grid_sub_samplin...
CVPR 2020 RandLA-Net
Polaris
03-23 1052
作者在知乎的介绍，包含论文及源码链接：[CVPR 2020 Oral] RandLA-Net:大场景三维点云语义分割新框架（已开源） 作者在深蓝学院的公开课（包括RandLA-Net和 3D-BoNet）：基于三维点云场景的语义分割和实例分割 RandLA-Net最大的亮点在于处理的速度快，准确率也还不错。速度上的提升很大程度是由于point inference部分使用了随机降采样，随机地对点...
【代码阅读】RandLA-Net
热门推荐
麒麒哈尔的博客
05-19 1万+
文章目录数据预处理dataset RandLa-Net是新提出来的针对大场景语义分割的方法，效果拔群。我对该文章的解读可以看我另外一篇博客，论文作者给出的代码是TensorFlow版本的。 接下来，我们就看一下这个代码都做了什么操作。以SemanticKitti为例。 数据预处理 # utils/data_prepare-semantickitti.py # line 42-50 points = DP.load_pc_kitti(join(pc_path, scan_id)) labels = DP.l
RandLA-Net：大规模点云语义分割的高效解决方案
gitblog_00052的博客
08-22 855
RandLA-Net：大规模点云语义分割的高效解决方案 RandLA-Net-pytorchRandLA-Net's implementation with Pytorch项目地址:https://gitcode.com/gh_mirrors/ran/RandLA-Net-pytorch 在深度学习和三维感知领域，处理大规模点云数据一直是一个挑战。今天，我们向您推荐一个开源项目——RandLA-...
RandLA-Net: 高效率的三维点云理解框架
gitblog_00053的博客
03-26 485
RandLA-Net: 高效率的三维点云理解框架 去发现同类优质开源项目:https://gitcode.com/ 是一个开源的深度学习框架，专注于三维点云的理解和处理。这个项目由胡庆勇开发，并且在GitHub上提供了完整的代码库，方便研究者和开发者进行二次开发和应用。 项目简介 RandLA-Net 是一种轻量级、高效且准确的网络结构，用于处理大规模三维点云数据。它在不牺牲性能的前提下，极大地减...
pointnet++跑Semantic3D数据集
最新发布
03-19
<think>好的，我现在需要帮助用户了解如何使用PointNet++模型处理Semantic3D数据集。首先，我得回顾一下之前用户提供的引用内容，看看有哪些相关信息可以利用。 根据引用[1]，用户提到PointNet++训练自定义数据集的关键在于修改几个参数，特别是数据路径和类别信息。引用[2]和[4]都涉及Semantic3D数据集的处理，尤其是使用Open3D库来读取和预处理.pcd文件。引用[4]还提到了采样方法，比如从数据集中随机选取中心点。引用[3]虽然主要讲RandLA-Net，但也提到了调整模型结构和参数的重要性。 用户的问题集中在PointNet++和Semantic3D的使用教程和实现方法。我需要整合这些信息，分步骤说明处理流程。首先，数据准备部分需要指导用户如何下载数据集，并用Open3D进行读取和预处理，如降采样和归一化。然后，数据采样部分需要解释如何生成训练样本，比如随机选取中心点和区块提取。接下来是模型配置，根据引用[1]，需要调整数据路径、类别数和输入维度。训练参数部分应包括学习率、批次大小和epoch数。最后是训练和验证过程，以及可视化方法，可能涉及TensorBoard的使用。 还要注意用户可能遇到的常见问题，比如数据路径错误、显存不足等，需要给出解决方案。另外，生成相关问题时，要考虑用户可能进一步的需求，比如调参技巧、与其他模型的对比，以及自定义数据集的扩展应用。 需要确保回答结构清晰，步骤分明，每个部分都引用对应的资料。同时，按照系统级指令，数学公式用$...$，独立公式用$$...$$，但当前内容可能较少涉及数学公式，不过如果有提到损失函数或评估指标，可能需要应用。例如，交叉熵损失函数可以写成$L = -\sum y_i \log(p_i)$。 最后，检查是否符合中文回答，LaTeX语法正确，没有使用任何markdown格式，代码块用三个反引号包裹，并正确添加引用标识。确保问题部分涵盖用户可能关心的其他方面，如性能优化、参数调整和应用场景。</think>以下是指使用PointNet++模型处理Semantic3D数据集的实现方法详解： ### 一、数据准备与预处理 1. **数据集下载** Semantic3D提供8个类别的激光扫描点云数据，包含训练集（约15亿点）和测试集（约4亿点）。文件格式为.pcd，需通过Open3D库读取： ```python import open3d as o3d pcd = o3d.io.read_point_cloud("station1_xyz_intensity_rgb.pcd")[^2] 2. **数据预处理** - 降采样：使用体素滤波减少点云密度 ```python down_pcd = pcd.voxel_down_sample(voxel_size=0.05) ``` - 归一化：将坐标归一化到[-1,1]范围 - 特征增强：添加强度(intensity)和RGB值作为附加特征[^4] ### 二、数据采样方法 采用分层采样策略： 1. 从完整场景中随机选取中心点$c_i$ 2. 提取半径$r=2m$的球形区域点云区块 3. 区块内固定采样4096个点（不足时重复采样） ```python def sample_block(center, radius, points): distances = np.linalg.norm(points - center, axis=1) return points[distances < radius][:4096][^4] ``` ### 三、模型配置参数 修改`semantic3d.yaml`配置文件： ```yaml data: train_dir: "/path_to/semantic3d/train" test_dir: "/path_to/semantic3d/test" num_classes: 8 # 语义类别数 model: input_dims: 6 # xyz + intensity + rgb sa_radius: [0.1, 0.2, 0.4] # 采样半径层级 ``` [^1] ### 四、训练参数设置 推荐使用Adam优化器： $$ lr = 0.001 \times 0.5^{\lfloor epoch/20 \rfloor} $$ 批次大小设置为16（需根据GPU显存调整），训练约100个epoch ### 五、训练与验证流程 ```python python train_semantic3d.py --log_dir log_s3d --cfg_file cfgs/semantic3d.yaml ``` 验证时使用交并比(mIoU)作为评估指标： $$ \text{mIoU} = \frac{1}{C}\sum_{c=1}^C \frac{TP_c}{TP_c + FP_c + FN_c} $$ ### 六、可视化实现 1. 预测结果着色显示 ```python o3d.visualization.draw_geometries([pred_pcd]) ``` 2. 使用TensorBoard查看特征学习过程 ```bash tensorboard --logdir=log_s3d ``` ### 常见问题解决 1. **显存不足**：减小`batch_size`或`num_points` 2. **类别不平衡**：在损失函数中添加类别权重 ```python weights = 1 / class_frequency criterion = nn.CrossEntropyLoss(weight=weights) ``` 3. **数据加载慢**：启用多线程数据加载（推荐设置`num_workers=4`）
评论 46
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值