Kinect v2 深度摄像机开发指南（一）

刀哥今天正经一回，今天带大家来玩一下3D建模，当然硬件是XBOX游戏机啦。

kinect摄像机已经发展到第三代甚至第四代了，kinect v2摄像机是2015年出来的摄像机，当时被无数极客和科学家争相研究，甚至有些科学家还发表了IEEE sensor的顶级期刊论文。然而，现如今已经很少有人在研究这个东西了。这种摄像头也沦为XBOX的一些配件了。今天我们来考个古，玩一下这种深度摄像机。

这种深度摄像机由三个部分组成，分别是color camera 、IR projector、IR camera，可以读取RGB图像和深度图像，深度图像是通过红外线的发射和吸收来实现的。彩色摄像头最大支持1280*960分辨率成像，红外摄像头最大支持640*480成像。除此之外，他还拥有L型排列的四个麦克风，对声音也拥有探知能力。

kinect数据拥有6中数据源，可以做的事情非常多，因此这种摄像头来做ML或DL是一个非常好的选择。这里我先概略的介绍一下这个摄像头，带大家观看一下摄像头的效果，在下面几节我将会详细的介绍这种摄像头的使用和可以做的DIY设计。

首先，这个摄像头可以读出RGB图像，RGB图像是最常见的图像，因此此类摄像头也称从color camera．在大多数机器学习里面常常用到的就是这种图像，因此这类图像的重要性可想而知了。

重点来了，kinect摄像头相对于普通摄像机而言，它多了一个IR projector、IR camera,这是近红外的发射和接受端口。那么它是一个什么东西呢？刀哥来给你讲一个故事，在很早以前，刀哥玩嵌入式单片机的时候就有一种测距的近红外的传感器，能够测出障碍物距离并用电压表示，但是做的非常粗糙，值得说明的是，近红外在非常近的距离下有死区，在超过一定距离范围后就测不出来了。IR projector、IR camera就是那种近红外的加强版，它采用TOF飞行测距的原理，生成深度图像，每个像素的灰度代表距传感器的距离。仅通过深度图像就可以构造点云进行建模，下面是我用VS2013＋opencv3.0+kinectSDK驱动+PCL1.8.0做的一个彩色点云图，一起来看一下吧。