Kinect能取得Depth(物体与传感器的距离信息)和BodyIndex(人物索引),基于这些数据可以侦测到人体的骨骼信息并追踪,在Kinect V2的SDK 2.0中,它最多可以同时获取到6个人、每个人25个关节点的信息,并且通过深度摄像头,可以同时获取到这些关节点的坐标。此时的坐标使用的是Camera Space,也就是摄像机空间坐标系,代表了物体距离深度摄像头的距离。
Kinect的人体姿势,是向学习了基于庞大数量的姿势信息的识别器里,输入人体区域的信息来推定的(注:因为男女老少高矮胖瘦体形各不相同,所以必须基于神经网络的数据库才能准确识别人体)。这个技术出自微软在IEEE CVPR 2011(计算机视觉及模式认识领域的首位会议)发表,获奖Best Paper。
Microsoft ResearchReal-Time Human Pose Recognition in Parts from a Single Depth Image
文章我正在读,之后有时间会传一篇阅读笔记。
要读取骨骼数据,前面的步骤和之前一样,要先通过IKinectSensor
来取得 IBodyFrameSource
,然后开启 IBodyFrameReader
,之后再在主循环里取得 IBodyFrame
里面的数据,但是在IBodyFrame
里面实际上包括了所有人的数据,需要通过GetAndRefreshBodyData()
这个函数写入IBody
这个类里面再进行个别读取。可以另外设置一个变量代表一个IBody阵列,写入数据后即可以读取每个人的骨架资料。
通过IBodyFrameSource
的 get_BodyCount()
可以取得iBodyCount
代表可以读取到追踪的人数,目前来说最多就是6个人。
通过IBody
中的get_IsTracked()
这个函数可以判断某个人是否正在被追踪
通过IBody
中的GetJoints()
这个函数可以得到所有关节点的位置信息。
位置信息被定义成Joint
这个类别,里面包含三个参数,第一个是JointType
,代表是哪个关节点,我们可以在JointType Enumeration中看到具体的列举;第二个是Position
,是用CameraSpacePoint
来记录这个关节点在摄像头空间坐标系里的位置(如果要用来在2D图像中显示,需要做坐标转换);第三个是TrackingState
,用来记录这个关节的追踪状态。
通过IBody
中的GetJointOrientations()
这个函数可以得到关节点的方向
IBody
中还有两个函数get_HandRightState()
和 get_HandLeftState()
可以用来获取两手的状态数据。
我做了一个上半身骨骼信息读取,效果图如下: