三维成像技术解析-优快云博客

1.双目匹配(双RGB摄像头+可选的照明系统)

三角测量原理即目标点在左右两幅视图中成像的横坐标之间存在的差异(视差Disparity),与目标点到成像平面的距离成反比例的关系:Z = ft/d;得到深度信息。双目匹配采用三角测量原理完全基于图像处理技术，通过寻找两个图像中的相同的特征点得到匹点，从而得到深度值。双目测距中光源是环境光或者白光这种没有经过编码的光源，图像识别完全取决于被拍摄的物体本身的特征点，因此匹配一直是双目的一个难点。

技术点：立体匹配算法，一般步骤：匹配代价计算，匹配代价叠加，视差获取，视差细化(亚像素级)

优点： 给定的工作条件下，较好效果，硬件简单。

缺点： 双目使用的是物体本身的特征点，对表面颜色和纹理特征不明显的物体失效。

2.一般结构光(一个RGB摄像头+结构光投射器(红外)+结构光深度感应器(CMOS))

匹配的精度和正确性很难保证，因此出现了结构光技术来解决匹配问题。结构光测距的不同点在于对投射光源进行了编码或者说特征化。这样拍摄的是被编码的光源投影到物体上被物体表面的深度调制过的图像。因为结构光光源带有很多特征点或者编码，因此提供了很多的匹配角点或者直接的码字，可以很方便的进行特征点的匹配。换句话说，不需要使用被摄物体本身的特征点，因此能提供很好的匹配结果。

结构光基本原理：

通过投影一个预先设计好的图案作为参考图像(编码光源)，将结构光投射至物体表面，再使用摄像机接收该物体表面反射的结构光图案，这样，同样获得了两幅图像，一幅是预先设计的参考图像，另外一幅是相机获取的物体表面反射的结构光图案，由于接收图案必会因物体的立体型状而发生变形，故可以通过该图案在摄像机上的位置和形变程度来计算物体表面的空间信息。普通的结构光方法仍然是部分采用了三角测距原理的深度计算。同样是进行图像匹配，这种方法比双目匹配好的地方在于，参考图像不是获取的，而是经过专门设计的图案，因此特征点是已知的，而且更容易从测试图像中提取。结构光采用三角视差测距，基线(光源与镜头光心的距离)越长精度越高。

技术点：提供什么样的辅助信息来帮助快速而精确的对应点匹配是结构光编码方法的衡量标准。

优点： 成熟，经验证，可量产

缺点： 有限的供应商，技术和供应链门槛，阳光干扰敏感，多设备之间存在严重干扰

3.Light coding(激光散斑光源)

与结构光不同，Light coding的光源为“激光散斑”，是激光照射到粗糙物体或穿透毛玻璃后随机形成的衍射斑点。这些散斑具有高度的随机性，而且会随着距离的不同而变换图案。也就是说空间中任意两处的散斑图案都是不同的。只要在空间中打上这样的光，整个空间都被做了标记，把一个物体放进这个空间，只要看看物体上面的散斑图案，就可以知道这个物体在什么位置了。当然在这之前要把整个空间的散斑图案都记录下来，所以要先做一次光源标定。primesense公司的三维测量使用的就是激光散斑技术。primesense将该技术称为光源标定技术。光源标定技术在整个空间中每隔一段距离选取一个参考平面，把参考平面上的散斑图案保存下来。

技术点：Light coding不是通过空间几何关系求解的，它的测量精度只和标定时取得参考面的密度有关，参考面越密测量越精确。不用为了提高精度而将基线拉宽。

缺点：激光器发出的编码光斑容易被太阳光淹没掉

4.ToF(飞行时间)

ToF技术采用主动光探测方式，与一般光照需求不一样的是，TOF照射单元的目的不是照明，而是利用入射光信号与反射光信号的变化来进行距离测量，所以，TOF的照射单元都是对光进行高频调制之后再进行发射，比如下图所示的采用LED或激光二极管发射的脉冲光，脉冲可达到100MHz。与普通相机类似，TOF相机芯片前端需要一个搜集光线的镜头。不过与普通光学镜头不同的是这里需要加一个带通滤光片来保证只有与照明光源波长相同的光才能进入。同时由于光学成像系统具有透视效果，不同距离的场景为各个不同直径的同心球面，而非平行平面，所以在实际使用时，需要后续处理单元对这个误差进行校正。作为TOF的相机的核心，TOF芯片每一个像元对入射光往返相机与物体之间的相位分别进行纪录。该传感器结构与普通图像传感器类似，但比图像传感器更复杂，它包含2个或者更多快门，用来在不同时间采样反射光线。因为这种原因，TOF芯片像素比一般图像传感器像素尺寸要大得多，一般100um左右。照射单元和TOF传感器都需要高速信号控制，这样才能达到高的深度测量精度。比如，照射光与TOF传感器之间同步信号发生10ps的偏移，就相当于1.5mm的位移。而当前的CPU 可到3GHz，相应得时钟周期是300ps，则相应得深度分辨率为45mm。运算单元主要是完成数据校正和计算工作，通过计算入射光与反射光相对相移关系，即可求取距离信息。

优点：相对二维图像，可通过距离信息获取物体之间更加丰富的位置关系，即区分前景与后景。无需扫描设备辅助工作。借助 CMOS 的特性，可获取大量数据及信息，对复杂物体的姿态判断极为有效。深度信息依旧可以完成对目标图像的分割、标记、识别、跟踪等传统应用。经过进一步深化处理，可以完成三维建模等应用。

5.三维成像主流方案对比

方案	双目	结构光	TOF
基础原理	双目匹配，三角测量	激光散斑编码	反射时差
分辨率	中高	中	中->高
精度	中	中高	中
帧率	低	中	高
抗光照（原理角度）	高	低	中高
硬件成本	低	中	高
算法开发难度	高	中	低
内外参标定	需要	需要	需要