(CVPR 18) FoldingNet: Point Cloud Auto-encoder via Deep Grid Deformation

最新推荐文章于 2025-04-15 09:24:51 发布

原创

最新推荐文章于 2025-04-15 09:24:51 发布 · 5.2k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#python #3d #深度学习 #自动驾驶

FoldingNet是一种基于自监督学习的点云处理方法，通过PointNet式的编码器生成高维特征向量（codeword），然后利用解码器和两次折叠操作恢复点云。编码过程中，点云的每个点与邻域点构建图结构，计算协方差矩阵并拼接特征。解码时，固定2Dgrid在codeword指导下进行折叠以重构点云。损失函数采用ChamferDistance来衡量输入和输出点云的一致性。实验结果显示了良好的点云重建效果。

在这里插入图片描述
FoldingNet[1]提出了一种点云自编码器结构，属于自监督学习的范畴，可以将输入点云投影（即特征降维）至具有丰富语义信息的高维空间中，形成高维特征向量（文中用“codeword”指代），即编码过程。接着通过解码网络将高维特征向量恢复得到高维度的输入点云。
如下图所示，对于input输入点云，首先经过特征编码形成codeword（不是图中的2D grid），接着进行两次folding操作，恢复得到与输入点云相似的输出点云：
在这里插入图片描述

What is Folding Operation？

作者在文中指出，从直觉上来说，任何三维空间表面结构都可以通过“裁剪”，“挤压”，“屈伸”等操作转换成二维平面表示，因此以上操作的逆过程就是将二维平面数据进行粘贴等操作，恢复得到之前的三维空间表面结构，而这个逆过程作者称之为folding operation.
如上图所示，图中将开始的2D grid与重建得到的3D surface对应点用相同的颜色标出。从一个固定大小的二维平面（2D grid）开始，在具有丰富语义信息的codeword引导下，经过两次folding操作即可恢复得到输入的三维空间表面结构。