- 博客(61)
- 收藏
- 关注
原创 PointNet++改进策略 :实例分割 | ASIS | ,语义分割和实例分割互相协同执行,同时能够更好的协调分割精度
这篇论文提出了一种名为ASIS(Associatively Segmenting Instances and Semantics)的新框架,用于点云的3D实例分割和语义分割的联合任务。其主要贡献和见解如下:基础方法:论文首先提出了一个简单而有效的基线方法,使用共享编码器和两个独立解码器同时执行实例和语义分割。该基线方法在S3DIS数据集上已经超越了之前最先进的方法。语义感知的实例嵌入:通过将语义特征融合到实例分支中,实例嵌入被赋予语义感知能力。这有助于进一步区分不同语义类别的实例。
2024-12-06 14:47:30
262
原创 点云-L1骨架算法
L1骨架算法的核心目标是找到一个点云的“骨架”——一种简单而紧凑的几何结构,能够描述点云的整体形状。它强调通过最小化点到骨架的距离(L1范数),逐步提炼出骨架线条。
2024-11-28 11:56:25
1970
1
原创 点云Alpha Shape边界提取
是一种用于描述点云的形状的几何工具,常用于从一组离散的点中提取出一个平滑的、可以反映点云外部形状的多面体。它是一种更为灵活和精细的凸包方法,可以通过引入一个参数(α)控制细节的程度,从而适应不同的形状复杂度。
2024-11-27 11:06:28
1692
原创 点云Delaunay三角化
Delaunay 三角化是一种将离散点集合连接成三角形或四面体网格的方法,满足空圆性质或空球性质。在二维情况下,它避免了细长的三角形,在三维情况下避免了不规则的四面体。常见的现成库如scipy和pyvista提供了简便的接口进行 Delaunay 三角化。
2024-11-27 11:05:15
1148
原创 点云数据坐标系的旋转
旋转矩阵是用于对点进行旋转变换的矩阵,它是一个正交矩阵,其转置等于其逆矩阵。对于三维点云,旋转矩阵为。是通过旋转矩阵对点云中每个点的坐标进行变换,从而实现整个点云绕指定轴或任意方向旋转的过程。是旋转轴的反对称矩阵。
2024-11-26 21:04:10
1070
原创 点云梯度计算
点云梯度是描述点云数据中点密度或点值变化的工具。在点云处理中,梯度可以用于检测边界、估计法向量、进行曲率分析等。其数学原理和计算与标量场梯度的计算类似,但针对点云的非规则分布需要特别处理。
2024-11-26 15:07:40
1061
原创 点云-统计滤波
点云统计滤波(Statistical Outlier Removal, SOR)是一种用于去除点云中离群点的滤波方法,广泛用于点云数据预处理。其基本思想是通过统计分析点云中每个点的邻域特性来判断该点是否是离群点。
2024-11-25 15:20:15
948
原创 点云-半径滤波
半径滤波可以有效去除孤立的噪声点,保留主要的结构点云。通过调整半径rrr和最少邻域点数NminN_{min}Nmin的参数,可以灵活地适应不同分辨率的点云。如有其他需求,可进一步优化算法或结合其他滤波方法(如体素滤波或统计滤波)。
2024-11-25 15:19:29
573
原创 点云-条件滤波
点云的条件滤波是一种通过设定特定条件或规则来筛选点云数据的方法。通常用于移除点云数据中的噪声、聚焦于感兴趣的区域,或提取特定属性的点。例如,条件滤波可以基于点的坐标范围、点的强度值或其他属性来筛选点。
2024-11-25 15:05:55
207
原创 点云-均匀下采样-原理-代码
点云均匀下采样(Uniform Downsampling of Point Cloud)是一种点云数据处理技术,其目的是在保持点云整体几何形状和分布特征的前提下,减少点云中的点的数量,从而提高数据处理效率或降低存储需求。
2024-11-24 20:34:08
452
原创 点云-随机下采样-原理-代码
点云随机下采样是一种对点云数据进行稀疏化处理的方法,其目的是从原始点云数据中随机选择一部分点,形成一个数量较少但具有代表性的子集。随机下采样广泛用于处理点云数据,以减小数据规模,提高处理效率,同时保留点云的总体形态和特性。
2024-11-24 20:33:27
588
原创 点云-半径搜索法-Radius Search
半径搜索基于一个查询点 ( p ),在给定的半径 ( r ) 内找到所有满足条件的点 ( p_i )。具体计算如下:距离定义:满足d(p,pi)≤rd(p, p_i) \leq rd(p,pi)≤r 的点 ( p_i ) 被视为邻居点。搜索方式:半径范围结果:实现框架实现:PCL、Open3D、scikit-learn
2024-11-21 20:13:36
955
原创 【2024最新点云处理合集】-原理-代码-持续更新
本专栏致力于分享2024年最新点云处理技术、算法与应用趋势,覆盖从数据采集到后期处理的全流程内容。通过多角度深入探讨,帮助读者了解点云处理的核心理论、技术实现与产业应用。
2024-11-21 20:08:11
403
原创 PointNet++改进策略 :模块改进 | OA-CNNs | , 全自适应3D稀疏卷积神经网络(OA-CNNs),超越基于Transformer的模型,同时显著降低计算和内存成本
这篇论文主要研究了3D语义分割领域中的一种新型稀疏卷积神经网络(CNN),称为全自适应3D稀疏CNN(Omni-Adaptive 3D Sparse CNNs,简称OA-CNNs)。研究的重点是提升传统稀疏CNN的性能,使其在精确度和计算效率上都能与基于Transformer的网络模型相媲美或超越。研究中指出,现有的稀疏CNN在3D语义分割任务上通常不如基于Transformer的模型,原因在于其缺乏足够的自适应性。
2024-10-01 13:14:23
1442
原创 直通滤波-PassThrough Filter-原理-代码实现
对坐标轴上的上下限进行约束,选取其中符合范围的点云区域使用场景:去除噪声点,关注特定区域,减小计算量。
2024-09-21 21:34:53
1227
原创 球形包围框-Bounding Sphere-原理-代码实现
Welzl算法是一种递归算法,用于在期望线性时间内找到一组点的最小包围球。其基本思想是随机化点的顺序,然后递归地处理每个点,决定是否需要将其包含在当前的边界集(即确定球体)的情况下更新最小包围球。算法的核心思想是:我们逐个考虑每个点,看是否需要将它包含在球面上。如果一个点已经在当前的最小球内,我们就不需要改变球;如果不在,我们就需要重新计算球,使得这个点在新球的表面上。
2024-09-21 08:33:32
784
原创 ConvexHull-凸包-原理-代码实现
Andrew’s Monotone Chain 算法是一种更高效的凸包算法,其时间复杂度为 O(n log n)。该算法首先将所有点按 x 坐标排序,然后分别构建下凸包和上凸包,最后合并两者。在三维点云处理中,我们在使用算法一般会利用别人高效实现的方式,这里使用open3d库实现凸包算法。为了方便理解,我们现已二维数据进行测试。
2024-09-20 17:47:40
1392
原创 OBB-最小外接矩形包围框-原理-代码实现
定义:OBB是相对于物体方向对齐的包围盒,不再局限于坐标轴对齐,因此包围点云时更加紧密。优点:能够更好地贴合物体形状,减少空白区域。缺点:计算较为复杂,需要计算物体的主方向,进行旋转和缩放变换。
2024-09-20 10:57:46
2209
原创 AABB-轴对齐包围框-原理-代码实现
我们先简单了解些轴对齐包围框(AABB)方法定义:轴对齐包围框是沿着坐标轴方向的长方体,包围点云的所有点。优点:计算简单,只需要找到点云的最小和最大坐标值,然后构建长方体。缺点:对于倾斜或旋转的物体,AABB往往不能紧密包围,容易出现较多的空白区域。后面我将从算法原理中讲解,使用np实现AABB方法。后面我在实际中使用豆荚为例子,使用open3d库来使用AABB方法,因为open3d内置封装好AABB方法可以直接使用。
2024-09-20 09:34:46
724
原创 PointNet++改进策略 :模块改进 | 双边增强模块 | 自适应融合模块 | ,将多分辨率特征在点级别自适应地融合,确保模型能够充分利用不同分辨率下的特征信息
这篇论文的标题是《Semantic Segmentation for Real Point Cloud Scenes via Bilateral Augmentation and Adaptive Fusion》(通过双边增强和自适应融合进行真实点云场景的语义分割)。文章的核心内容是在处理大规模点云数据的语义分割任务上提出了一个新的网络架构。双边增强(Bilateral Augmentation):为了减少点云中相邻点之间的歧义,提出了一种双边增强方法,通过几何和语义特征的结合,来扩展点的局部上下文信息。
2024-09-18 09:28:29
1288
原创 PointNet++改进策略 :模块改进 | LFA | RandLA-Net,通过随机采样与局部特征聚合提升大规模3D点云处理效率
这篇论文题为《RandLA-Net: Efficient Semantic Segmentation of Large-Scale Point Clouds》,研究了大规模3D点云高效语义分割的问题。当前的许多方法依赖于复杂的采样技术或计算量大、内存消耗高的预处理和后处理步骤,因此只能处理小规模的点云数据。为了应对这一挑战,作者提出了一种新的轻量级神经网络架构RandLA-Net,能够直接处理大规模点云,进行逐点的语义推断。
2024-09-17 10:15:26
1003
原创 PointNet++改进策略 :模块改进 | Residual MLP | PointMLP,简化原本复杂的局部几何特征提取器,减少计算同时提高效率
这篇论文题为《Rethinking Network Design and Local Geometry in Point Cloud: A Simple Residual MLP Framework》,发表于ICLR 2022。论文的主要内容是提出了一种名为PointMLP的新方法,用于处理点云数据,旨在通过简单的残差多层感知器(Residual MLP)网络替代复杂的几何特征提取器。背景与挑战:点云分析由于数据的不规则性和无序性,一直是计算机视觉中的难题。
2024-09-17 10:14:49
1464
原创 PointNet++改进策略 :模块改进 | PointNetXt ,利用训练测量大幅提升PointNet模型性能
这篇名为《PointNeXt: Revisiting PointNet++ with Improved Training and Scaling Strategies》的论文主要讨论了对经典的3D点云网络架构PointNet++进行的改进。作者提出了新的训练策略和模型扩展方法,旨在提高PointNet++的性能。改进训练策略:通过系统地研究数据增强和优化技术,作者发现很多新网络(如PointMLP和Point Transformer)性能提升主要是由于更好的训练策略而非架构上的创新。
2024-09-16 09:54:07
1464
原创 PointNet++改进策略 :模块改进 | EdgeConv | DGCNN, 动态图卷积在3d任务上应用
它主要讨论了如何在点云(Point Cloud)上进行深度学习的挑战,并提出了一种新的神经网络模块EdgeConv,用于改进点云分类和分割任务。研究背景:点云是一种常见的几何表示,广泛用于3D感知、自动驾驶和机器人等领域。然而,由于点云缺乏固有的拓扑结构,传统的卷积神经网络(CNN)难以直接在点云上应用。论文旨在解决这一问题,将卷积神经网络的思想扩展到不规则的点云数据中。EdgeConv模块。
2024-09-16 09:53:25
1792
1
原创 PointNet++改进策略 :模块改进 | Transformer| Point Transformerv2, 使用Transformer架构引入到3D点云任务中提升模型精度
介绍了一个改进版的3D点云理解模型,称为Point Transformer V2(PTv2)。论文分析了原始PTv1的局限性,并展示了PTv2在多个基准测试中的精度和效率均优于PTv1。此外,论文还通过详细的消融实验评估了PTv2中各个模块的影响,并评估了模型的复杂度和延迟,展示了这些改进带来的显著优势。分组向量注意力(Grouped Vector Attention, GVA)
2024-09-14 08:39:58
1873
原创 PointNet++改进策略 :模块改进 | Transformer | Point Transformerv3, 使用Transformer架构引入到3D点云任务中提升模型精度
这篇论文的主要内容是介绍(PTv3),一个用于3D点云处理的模型,目标是解决精度与效率之间的权衡问题。PTv3在设计上强调简化和提升效率,优先考虑模型的扩展能力,而不是通过复杂的机制来提升局部的精度。更强的性能:PTv3在多个室内和室外的3D感知任务上取得了最新的最优性能。更广的感受野:通过简化设计,PTv3将感受野从16个点扩展到1024个点,同时保持了高效性。更快的速度:PTv3在处理速度上有显著提升,比前代模型快3倍,并且在推理过程中减少了内存消耗。低内存消耗。
2024-09-14 08:38:58
1640
1
原创 PointNet++改进策略 :模块改进 | SPVConv, 体素和点云特征融合提升小目标检测能力
这篇论文的主题是如何为自驾车等应用场景设计高效的3D架构。论文提出了一个名为“稀疏点-体素卷积”(Sparse Point-Voxel Convolution, SPVConv)的3D深度学习模块,旨在在硬件资源有限的情况下提高3D感知模型对小目标(如行人和骑行者)的识别性能。传统的体素化方法由于分辨率低或过度下采样,导致模型难以识别这些小目标。SPVConv通过在标准的稀疏卷积基础上引入高分辨率的点云分支,显著提升了对细节的捕捉能力,并且计算开销很小。
2024-09-13 10:06:43
1503
原创 PointNet++改进策略 :模块改进 | PointCAT, 使用交叉注意力机制来提升3D点云任务中提升模型精度
PointCATCross 的核心在于通过多尺度特征提取和跨注意力机制来融合不同分辨率下的几何信息。跨注意力机制能够在全局和局部特征之间建立联系,从而提升模型对复杂三维点云结构的理解能力。借鉴以上思路,可以进行如下改进来增强PointNet++ 对点云多尺度特征、全局信息以及复杂几何关系的捕捉能力,进一步提升了其在点云分类和分割任务中的表现。引入跨尺度注意力机制:利用 PointCATCross 的跨注意力模块,实现多尺度特征的相互交互和增强。引入分类 Token 和多层级特征交互。
2024-09-13 09:37:58
1718
原创 PointNet++改进策略 :模块改进 | Transformer| Point Transformer, 使用Transformer架构引入到3D点云任务中提升模型精度
提出了Point Transformer层:基于自注意力机制,设计了适用于3D点云处理的自注意力层。由于点云本质上是嵌入到3D空间中的点集,自注意力机制在这种情况下很自然地适用。该层对点的排列顺序不敏感,适用于3D点云数据。用于多种3D理解任务:作者通过Point Transformer网络,处理语义场景分割、物体部分分割和物体分类等任务,展示了模型在不同领域的广泛适用性。实验表明,Point Transformer在多个基准数据集上取得了最新的最佳性能。实验结果。
2024-09-12 10:39:58
2069
2
原创 PointNet++改进策略 :模块改进 | SWA| PVT,融入Transformer的点云与体素的模块同时提升模型精度和效率
这篇论文的主要内容是提出了一种新的点云学习架构,名为点体素变换器(Point-Voxel Transformer, PVT)。PVT结合了基于点的方法和基于体素的方法的优点,通过引入稀疏窗口注意力(Sparse Window Attention, SWA)模块,能够高效地从3D数据中捕获有用的特征。提出PVT架构:这是第一个将基于点和基于体素的网络优势深度结合的Transformer方法。引入稀疏窗口注意力(SWA)模块:该模块实现了与输入体素分辨率线性相关的计算复杂度,同时避开了空体素的无效计算。
2024-09-11 10:48:24
913
原创 PointNet++改进策略 :模块改进 | x-Conv | PointCNN, 结合局部结构与全局排列提升模型性能
这篇论文介绍了一种名为PointCNN的方法,旨在从点云(point cloud)数据中学习特征。传统卷积神经网络(CNN)在处理规则网格数据(如图像)时非常有效,但由于点云是无序且不规则的,直接在其上应用卷积操作会导致形状信息丢失,并对点的排列顺序敏感。为了解决这一问题,论文提出了一种X-Conv操作。该方法通过学习一种来重新排列点云中的点并加权输入特征。然后,将典型的卷积操作应用于转换后的特征。这种方法将传统的 CNN 扩展到点云特征学习,并命名为PointCNN。
2024-09-10 09:50:18
1834
原创 PointNet++改进策略 :模块改进 | PAConv,位置自适应卷积提升精度
PAConv,全称为位置自适应卷积(Position Adaptive Convolution),是一种用于处理3D点云数据的通用卷积操作。不同于传统的2D卷积,PAConv通过根据点在三维空间中的位置动态组合卷积核。它的实现依赖于一个称为权重库(Weight Bank)的结构,该结构存储了基本的权重矩阵。这些矩阵通过一个称为ScoreNet的网络动态组合,ScoreNet根据点的位置关系学习如何自适应地组装这些卷积核。动态卷积核组装。
2024-09-04 21:26:10
1727
原创 PointNet++改进策略 :模块改进 | OE Unit | PointSIFT,结合方向信息提升模型精度
我在文章顶端中,有俩个PointSIFT实现版本分别是pytorch和tensorflow实现,大家根据需求迁移到自己的项目中,下面我讲以pytorch版本网络设计对代码进行注释,具体的实现细节可以参考上面的链接中。这篇论文中贡献了两个模块分别是PointSIFT和Orientation-Encoding Unit,这两个模块能够直接替换PointNet++中MLP层,或者跟其他模块在进行组合形成新的模块进行创新模块。整体网络如下,PointSIFT对PointNet++中的MLP层进行了改进。
2024-08-30 10:39:30
979
3
原创 PointNet++改进策略 :模块改进 | PVConv | PVCNN,点云和体素特征的融合大幅提升模型效率不影响精度下
体素化 (Voxelization)首先,将点云数据映射到低分辨率的体素网格中。具体来说,点云的坐标先被标准化,然后按照设定的体素分辨率将点的特征聚合到对应的体素网格中。体素卷积 (Voxel Convolution)在体素网格上应用3D卷积操作。由于体素网格是规则的,3D卷积能够有效地聚合邻域内的特征,从而提取出局部的空间特征。体素到点的映射 (Devoxelization)将体素卷积后的特征映射回点云数据中。这一步通常使用三线性插值法,将体素网格的特征分配给其包含的点。
2024-08-29 11:48:14
1016
原创 cloudcompare制作点云分割数据集
我这里总体介绍能满足语义和实例分割任务的数据集标注方式,但其中没有想其他介绍的对点云加标签,我这里是主要减少标注过程中操作,利用文件名约束,最后通过程序来转化成具体用什么框架和什么任务的数据集。
2024-08-19 16:44:23
2347
原创 点云实例分割-Softgroup-训练自己数据集
之前写的blog文章使用Softgroup官方自带的S3DIS配置文件,数据集格式和Dataset文件训练数据集,训练起来会方便些,但是自己训练数据集会处理这些操作,本文主要解决这个目的。,下面主要是根据自己数据集进行修改,还有训练参数大家根据自己电脑的性能进行修改就行。每个标注的文件格式,共有6维分别前3个xyz三维坐标,后3个相应点的RGB信息。文件中,这里需要修改3处,根据原有的格式进行修改就行。下面展示的是下载下来的文件结构,下面根据文件的格式。这里看到我们的数据集加载出来了,是我们数据集的个数。
2024-08-13 13:46:57
2287
18
原创 点云实例分割-Softgroup-官方代码训练数据集
这里我使用的模型是基于PointGroup模型改进的SoftGroup模型,因为语义分割的结果导会影响实例结果,它对原有模型中语义分割中预测类别不准确问题进行改进的。原有模型中,点对点预测类别是一对一关系,但这个模型允许一个点预测多个类别,来减轻语义预测时候导致预测不准确的问题。在本文中,我使用Softgroup官方代码训练自己的数据,这里以一个植物的开源数据集为例,从0到1的过程。
2024-08-04 13:41:58
994
10
原创 最小二乘是什么?
最小二乘法(Least Squares Method)是一种统计方法,用于通过最小化观测数据与模型预测值之间的误差平方和来拟合数据。这种方法广泛应用于回归分析中,尤其是在线性回归模型中。
2024-07-13 22:40:19
1006
植物大豆点云数据集-符合softgroup项目使用
2024-08-13
nginx通俗易懂的教程
2024-07-08
链表深度解析:从基础到高级算法
2024-07-05
数组与排序算法:从基础到进阶
2024-07-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人