PointNet++论文复现_pointnet++复现-优快云博客

本文链接：https://blog.youkuaiyun.com/Srlua/article/details/144096415

✨✨ 欢迎大家来访Srlua的博文（づ￣3￣）づ╭❤～✨✨

🌟🌟 欢迎各位亲爱的读者，感谢你们抽出宝贵的时间来阅读我的文章。

我是Srlua小谢，在这里我会分享我的知识和经验。🎥

希望在这里，我们能一起探索IT世界的奥妙，提升我们的技能。🔮

记得先点赞👍后阅读哦~ 👏👏

📘📚 所属专栏：传知代码论文复现

欢迎访问我的主页：Srlua小谢获取更多信息和资源。✨✨🌙🌙

Set Abstraction Layer（集合抽象层）

Feature Propagation Layer（特征传播层）

多层感知机（MLP）

Symmetric Function（对称函数）

注：附件中不仅有点云分类代码，还有点云分割相关代码

本文所有资源均可在该地址处获取。

3D点云

什么是3D点云

3D点云是由大量空间中的点组成的数据集，这些点在三维坐标系统中具有X、Y和Z三个坐标值，用以表示物体或环境的形状和结构。每个点通常还包含额外的信息，如颜色、强度、法线等，这些信息可以帮助更准确地描述点云所代表的对象。3D点云数据可以通过各种技术获取，如激光扫描（LIDAR）、结构光扫描、立体摄像头以及其他3D感测设备。

点云数据在许多领域都有应用，包括但不限于测绘、建筑、制造业、自动驾驶汽车、文化遗产保护以及游戏开发等。它们为计算机提供了丰富的空间信息，使得能够进行高级的形状分析和模型重建。

为什么要使用3D点云（和计算机视觉比较）

3D点云在许多方面与传统的计算机视觉技术相比具有独特的优势，以下是一些主要的原因：

空间信息的丰富性
3D点云：提供了物体或场景的精确三维空间信息，可以准确地表示对象的形状、大小和位置。
计算机视觉：通常处理二维图像，虽然可以通过立体视觉等方法估计深度信息，但精度和分辨率通常不如3D点云。
精确度
3D点云：由于其三维特性，可以用于精确的尺寸测量和形状分析，这对于工程和制造领域尤为重要。
计算机视觉：在处理二维图像时可能会受到视角、光照变化和遮挡的影响，从而影响测量的精确度。
遮挡和视角问题
3D点云：可以从多个角度分析物体，即使在有遮挡的情况下也能较好地重建物体的完整结构。
计算机视觉：遮挡可能导致图像中关键信息的丢失，这可能会影响识别和分类的准确性。
复杂场景的理解
3D点云：能够更好地理解复杂的三维场景，例如城市环境或工业设施，这对于自动驾驶汽车和机器人导航等应用至关重要。
计算机视觉：在处理复杂场景时可能需要更多的预处理和假设，以简化场景并提取有用的信息。
交互性和沉浸感
3D点云：可以用于创建高度交互性和沉浸感的虚拟现实（VR）和增强现实（AR）体验。
计算机视觉：虽然也可以用于AR/VR，但通常缺乏3D点云所提供的详细和精确的空间信息。
总之，3D点云在处理三维空间数据方面具有独特的优势，它为计算机视觉带来了新的维度，使得在许多领域中的应用更加精确和有效。然而，3D点云技术也有其局限性，如数据处理和存储的要求较高，以及点云配准和降噪等预处理步骤的复杂性。不过，随着技术的进步，这些问题正在逐步得到解决

点云数据演示效果

CloudCompare可视化工具

下载地址：https://www.cloudcompare.org/

使用方式

可视化效果

PointNet++模型

Set Abstraction Layer（集合抽象层）

集合抽象层是PointNet++的核心模块，它通过迭代地采样点云中的点，并在每个采样点上应用PointNet来提取局部特征。

采样（Sampling）：从输入点云中均匀或根据密度进行采样，选择一组点作为局部区域的中心。
分组（Grouping）：对于每个采样点，根据距离选择它的邻近点形成一个小区域（称为“点集”或“组”），这些邻近点将用于提取局部特征。
局部特征提取（Local Feature Extraction）：对每个分组应用PointNet或类似的结构，提取局部特征。这通常涉及到使用多层感知机（MLP）来处理每个点的坐标和特征，然后通过最大池化（max pooling）操作来获得一个固定大小的特征向量，该特征向量代表了该组的局部几何特征。

Feature Propagation Layer（特征传播层）

特征传播层用于将高层次的特征传播回原始点云的每个点，以细化特征表示。

插值（Interpolation）：使用最近邻或基于距离的权重插值方法，将高层次的特征传播到低层次或原始点云的每个点。
特征更新（Feature Updating）：在将高层次特征传播到原始点后，通过额外的MLP层更新每个点的特征，以融合局部和全局信息。

多层感知机（MLP）

在PointNet++中，多层感知机（MLP）用于对点云中的点进行特征提取。MLP是一个简单的前馈神经网络，它可以在每个点上进行多次非线性变换，以提取更复杂的特征。

Symmetric Function（对称函数）

PointNet++使用最大池化作为对称函数，以确保特征的排列不变性。这意味着无论点的顺序如何变化，提取的特征都是相同的。

输出层
在网络的最后，通常会添加一个或多个全连接层（也称为密集层），以对提取的特征进行分类或分割任务。这些层将特征向量映射到最终的分类标签或每个点的分割标签

PointNet++核心代码

特征提取核心代码

class PointNetSetAbstraction(nn.Module):
    def __init__(self, npoint, radius, nsample, in_channel, mlp, group_all):
        super(PointNetSetAbstraction, self).__init__()
        self.npoint = npoint
        self.radius = radius
        self.nsample = nsample
        self.mlp_convs = nn.ModuleList()
        self.mlp_bns = nn.ModuleList()
        last_channel = in_channel
        for out_channel in mlp:
            self.mlp_convs.append(nn.Conv2d(last_channel, out_channel, 1))
            self.mlp_bns.append(nn.BatchNorm2d(out_channel))
            last_channel = out_channel
        self.group_all = group_all

    def forward(self, xyz, points):
        """
        Input:
            xyz: input points position data, [B, C, N]
            points: input points data, [B, D, N]
        Return:
            new_xyz: sampled points position data, [B, C, S]
            new_points_concat: sample points feature data, [B, D', S]
        """
        xyz = xyz.permute(0, 2, 1)
        print(xyz.shape) # (B,1024,3)
        if points is not None:
            points = points.permute(0, 2, 1) #(B,1024,3)
        # new_xyz是从1024个点中根据最远原则选出的512个点
        # new_points是以这512个点为圆心，框出32个点 
        if self.group_all:
            new_xyz, new_points = sample_and_group_all(xyz, points)
        else:
            new_xyz, new_points = sample_and_group(self.npoint, self.radius, self.nsample, xyz, points)
        print(new_xyz.shape, new_points.shape) # (B,512,3),(B,512,32,6)
        # new_xyz: sampled points position data, [B, npoint, C]
        # new_points: sampled points data, [B, npoint, nsample, C+D]
        new_points = new_points.permute(0, 3, 2, 1) # [B, C+D, nsample,npoint]
        print(new_points.shape) # (B,6,32,512) 将特征维度转为in_channel
        for i, conv in enumerate(self.mlp_convs):
            bn = self.mlp_bns[i]
            new_points =  F.relu(bn(conv(new_points)))
            print(new_points.shape) # 依次改变6的特征维度，不改变32，512
        new_points = torch.max(new_points, 2)[0] # (B,64,512)
        new_xyz = new_xyz.permute(0, 2, 1)
        return new_xyz, new_points

附件使用方式

3D点云数据下载

与原始的ModelNet40数据集相比，ModelNet40_normal_resampled数据集中的点云具有更均匀的采样密度，这使得数据集更适合于训练深度学习模型。
每个点云样本通常包含1024个点，这些点是从原始模型表面均匀采样的。
数据集中的每个点不仅包含三维坐标（x, y, z），还包含表面法线信息（nx, ny, nz）。这些法线信息有助于模型更好地理解点云的几何结构，对于某些3D识别任务来说是非常有用的。
modelnet40_normal_resampled下载地址：https://aistudio.baidu.com/datasetdetail/50045/0
将它放到附件的/data文件夹下