【深度学习】手部分割问题的尝试与总结

前言

手部分割这个问题出现了很多年了，从深度学习流行之前就有人去做，如今AR/VR的兴起更是成为一个相对热门的研究方向。有效地分割手既能进行很多姿态的判断，又能用于身份认证，应用面还是很广。
我做手部分割有一段时间了，虽然还是没有得到比较好的成果，基本也都是在研究前人的成果，这里还是总结一些心得与体会。
简单概括一下，已经尝试了四种方法了，分别作出总结。

1、基于深度图的手部分割

这种方法简单来说在很多应用中手放在距离摄像头最近的地方，那么将这个区域的图像分割出来即可实现手部的分割。而且其应用比这还是要广泛很多，能做很多别的物体的分割，可以理解为一种前景分割。

（1）传统方法

用传统方法生成深度图采用了双目摄像头，经过标定计算深度结果进行测距。但是效果其实不是很好，一方面是设备本身标定的精确度限制，另一方面设备的噪点比较多，很容易出现问题。对于很多区域都无法得到值，而距离的测定也并不准确，误差在10cm这个数量级，所以是难以进行准确分割的，异常点也很多。
假如能够进行比较准确的分割，那么可以对页面进行扫描，将距离摄像头最近的区域在一定的波动范围内分割出来，预期的效果应该不错。但这都建立在较为精准的深度图上。

（2）深度学习方法

深度图与三维重建现在很多采用深度学习方法来做，甚至不需要对摄像头进行标定，这自然也无法进行测距了。StereoNet的效果还不错，源码也找得到，但是也是存在很多噪点，并且具体方面难以标定。其对设备要求不高，普通的光学摄像头拍到的两幅画面即可。有待继续尝试吧，毕竟前景分割还是很有应用价值的。另外深度学习方法相对计算量较大，所以实时还需要研究轻量级网络。

总结一下，该方法应用广，而且思路也比较理想，但是对深度图的要求较高，容易出现噪点，因为设备的原因暂时还没有实现。

2、基于帧差法与肤色的手部分割

这个方法主要是传统方法，基于一篇论文来做的。思路也比较简单，因为帧差法容易将运动的但是