PCL综述—三维图像处理

1、三维图像分类

　　三维图像是一种特殊的信息表达形式，其特征是表达的空间中三个维度的数据。和二维图像相比，三维图像借助第三个维度的信息，可以实现天然的物体-背景解耦。除此之外，对于视觉测量来说，物体的二维信息往往随射影方式而变化，但其三维特征对不同测量方式具有更好的统一性。与相片不同，三维图像时对一类信息的统称，信息还需要有具体的表现形式。其表现形式包括：深度图（以灰度表达物体与相机的距离），几何模型（由CAD软件建立），点云模型（所有逆向工程设备都将物体采样成点云）。

1、深度图像（depth image)也叫距离影像（range image），是指将从图像采集器到场景中各点的距离（深度）值作为像素值的图像。获取方法有：激光雷达深度成像法、计算机立体视觉成像、坐标测量机法、莫尔条纹法、结构光法。它直接反映了景物可见表面的几何形状。

2、三维CAD模型的几种表达方法包括：

构造型立体几何表达法：它采用布尔运算法则(并、交、减)，将一些简单的三维几何基元(如立方体、圆柱体、环、 锥体)加以组合、变化成复杂的三维模型实体，这种方法的优点是，易于控制存储的信息量， 所得到的实体真实有效，并且能方便地修改它的形状。此方法的缺点是、可用于产生和修改 实体的算法有限，构成图形的计算量很大，比较费时。

边界表达法：它根据顶点、边和面构成的表面来精确地描述三维模型实体。这种方法的优点是，能快速地绘制立体或线框模型。

参数表达法、单元表达法

from：https://baike.so.com/doc/25744571-26877515.html

3、点云：当一束激光照射到物体表面时，所反射的激光会携带方位、距离等信息。若将激光束按照某种轨迹进行扫描，便会边扫描边记录到反射的激光点信息，由于扫描极为精细，则能够得到大量的激光点，因而就可形成激光点云。点云格式有*.ply ;*.pcd; *.txt等。点云的处理我们经常使用的开源库PCL，当然这里可以延伸一下，三维的CAD 文件数据也是可以填充点云形成不同角度的点云数据，这种CAD文件到点云之间的转化，经常用在binpicking，用于机械臂的抓取时，对模型点云生成各个角度的点云，以适应对不同场景中，种种姿态的匹配。

深度图与点云之间的关系：

     深度图像经过坐标转换可以计算为点云数据，有规则及必要信息的点云数据也可以反算为深度图像数据。深度数据流所提供的图像帧中，每一个像素点代表的是在深度感应器的视野中，该特定的（x, y）坐标处物体到离摄像头平面最近的物体到该平面的距离。

      对于深度图像主要集中在：深度图像的分割技术、深度图像的边缘检测技术、基于不同视点的多幅深度图像的配准技术、基于深度数据的三维重建技术、基于深度图像的三维目标识别技术、深度数据的多分辨率建模和几何压缩技术等等。在PCL中深度图像与点云最主要的区别在于，其近邻的检索方式不同，并且可以相互转换。

     深度图像是物体的三维表示形式，一般通过立体照相机或者TOF照相机获取。如果具备照相机的内标定参数，可将深度图像转换为点云，所以以上的研究点也是点云的主要研究点。深度图转点云的计算过程主要是多视图几何的知识，其原理是根据内外参矩阵变换公式得到，from：https://blog.youkuaiyun.com/weixin_33937913/article/details/86132657

2、点云模型

      可见，点云数据是最为常见也是最基础的三维模型。点云模型往往由测量直接得到，每个点对应一个测量点，未经过其他处理手段，故包含了最大的信息量。然而，这些信息隐藏在点云中需要以其他提取手段将其萃取出来，提取点云中信息的过程则为三维图像处理。

点云处理的三个层次

　　与图像处理类似，点云处理也存在不同层次的处理方式。或者说，根据任务的需求，需要组合不同的处理方式，而这些处理在过程上有先后之分。Marr将图像处理分为三个层次，低层次包括图像强化，滤波，边缘检测等基本操作。中层次包括连通域标记(label)，图像分割等操作。高层次包括物体识别，场景分析等操作。工程中的任务往往需要用到多个层次的图像处理手段，在传统的图像处理方法中（传统就是不包括CNN神经网络和大数据集），图像处理的过程需要递增的使用不同层次图像处理来完成任务。

　　PCL官网对点云处理方法给出了较为明晰的层次划分，如图所示。

     此处的common指的是点云数据的类型，包括XYZ,XYZC,XYZN,XYZG等很多类型点云，归根结底，最重要的信息还是包含在point<pcl::point::xyz>中。可以看出，低层次的点云处理主要包括滤波(filters)，关键点(keypoints),分割(segmention)。分别对应图像处理中的滤波，边缘检测，分割。显然，在图像处理中还是中层次的分割操作，由于点云的特性被简化到了低层次的水平，本质上与滤波和关键点提取难度相当了。点云的中层次处理则是特征描述(feature)。高层次处理包括配准(registration)，识别（recognition）。可见，点云在分割的难易程度上比图像处理更有优势。准确的分割也为识别打好了基础。

from:http://www.cnblogs.com/ironstark/p/4996929.html