YYY_77的博客

在逆向工程，计算机视觉，文物数字化等领域中，由于点云的不完整，旋转错位，平移错位等，使得要得到的完整的点云就需要对局部点云进行配准；为了得到被测物体的完整数据模型，需要确定一个合适的坐标系，将从各个视角得到的点集合并到统一的坐标系下形成一个完整的点云，然后就可以方便进行可视化的操作，这就是点云数据的配准。点云配准的应用还有很多。比如：形状还原运动估计外观分析纹理映射追踪等等那么点云配准的本质是什么呢？

k-d tree（ k-dimensional tree）是计算机科学中用于在k维空间中一些点建立关系的数据结构。它是一个包含特定约束的二叉搜索树。k-d tree对于范围搜索和最近邻居搜索非常有用。我们通常只处理三维空间的点云，因此我们所有的k-d树都是三维空间的。k-d树的每个级别都使用垂直于相应轴的超平面沿特定维度拆分所有子级。在树的根部，所有子项都将根据第一维进行拆分（即，如果第一维坐标小于根，则它将位于左子树中，如果大于根，则显然位于右边的子树）。

经过粗配准之后，这两个点云的重合程度已经很高了，若要进一步提高，就需要后续的精准配准，现在一般都是采用ICP(迭代最近点)算法或者其变种来进行的，通过多次迭代，可以进一步提高配准的精度，但是若是没有粗配准提供较好的迭代初始位置，ICP算法往往会陷入局部区域的最优解，而得不到全局的最优解。在点云数据只有三维坐标时进行配准，这个时候，我们所能提取到的就只有点云的几何特征，常用的特征包括，点云的曲率，点云中平面四边形的仿射不变性等特征。点云配准是将原始点云和目标点云进行对齐。首先，稍微总结下点云配准吧。

RANSAC 配准算法。通过找出目标点云和原始点云中对应的两组点进行旋转平移求解出T，然后在众多的候选T中旋转一组最大重合的T，都是具有随机性和假设性。区别在于：只是怎么找出对应点方法不一样，RANSAC一般通过特征点及描述子去找对应点，而4PCS则是通过对应的同一平面四点组仿射不变性去找。该方法适用于重叠区域较小或者重叠区域发生较大变化场景点云配准，无需对输入数据进行预滤波和去噪，算法能够快速准确的完成点云配准。

先讲一下背景吧。点云配准（Point Cloud Registration）指的是输入两幅点云 (source 和 target) ，输出一个变换使得变换后的source和target的重合程度尽可能高。点云配准可以分为粗配准（Coarse Registration）和精配准（Fine Registration）两步。粗配准指的是在两幅点云之间的变换完全未知的情况下进行较为粗糙的配准，目的主要是为精配准提供较好的变换初值；精配准则是给定一个初始变换，进一步优化得到更精确的变换。

在学习网格生成算法之前，推荐大家先了解Marching Cube（MC）算法，为什么呢，他也不是一个端到端的网格生成算法？因为很多连续算法在最后提取等值面的时候都会采用marching cube或其改进版本，可以说MC算法是很多算法的后处理。如果不理解这一步怎么做的，也很难理解其他算法之前的那么多计算的目的是什么。除此之外可以大大简化其他算法的解释过程，最后一步，就可以忽略不解释了。所以我们大家开始吧。在解释MC算法前，我们先来解释一下等值面。等值面是什么？

基于 3D视觉的新兴应用场景蓬勃发展，3D点云越来越受到人们的广泛关注。点云有着广泛的应用领域包括机器人技术、3D图形、自动驾驶、虚拟现实（AR/VR/MR）等。为了跟上不断增长的应用需要，研究和开发有效存储、处理的相关算法来处理点云的意义正显著上升。点云（Point cloud）：由N个D维的点组成，当这个D=3的时候一般代表着(x,y,z)的坐标，当然也可以包括一些法向量、强度等别的特征。与网格、体素等数据形式类似，点云也常用作描述三维模型，其表现非常直观，且具有无序性和不规则性。

最后一行是结束标志。我们在做2D视觉时，处理的就是类似一系列类似的二维数组，数组以图片的形式进行保存，处理的图片也有甚多的格式，比如png，jpg，bmp等。那我们在做3D视觉的时候，处理的主要是点云，点云就是由一些点的集合。一般由深度图还原的点云，有序点云按照图方阵一行一行的，从左上角到右下角排列，当然其中有一些无效点。有序点云在某些处理的时候还是很便利的，但是很多情况下是无法获取有序点云的。无序点云就是其中的点的集合，点排列之间没有任何顺序，点的顺序交换后没有任何影响，是比较普遍的点云形式。

3D视觉是一个多学科相融合的技术，可以总结为：计算图形学+计算机视觉+人工智能=3D视觉。3D视觉技术是通过3D摄像头采集视野空间内每个点位的三维座标信息，通过算法复原获取三维立体成像，不会轻易受到外界环境、复杂光线的影响，与2D成像技术相比更稳定，体验感更强，安全性更高。3D视觉是一个范围较广的概念，涉及到硬件选型、离散数学、非线性优化、最优化理论、矩阵论、多视图几何、空间变换、点云处理、计算机视觉、SLAM、深度学习等相关知识点，