基于机器学习的手势识别研究

收藏和点赞，您的关注是我创作的动力

概要

  手势在我们的日常生活中随处可见，它是生活中必不可少的一种交流方式。目前为止，人们对手势识别的研究涉及了很多领域，例如教育学、医学、计算机等等。其中，以人机交互的手势识别技术是当前比较研究的热点。
  手势识别一般可以分为基于数据手套的手势识别和机器视觉的手势识别，其中机器视觉的识别是当前研究热点。而且人的手势千变万化，手的形状也千变万化，因此基于机器视觉的手势识别研究是一个比较难的研究点。
  人的手势分为静态手势和动态手势。静态手势相对来说简单，就是静态的手型，而动态手势除了手型特征以外，还伴随手势运动的轨迹，因此动态手势的研究相对复杂。本文以静态手势为研究对象，通过摄像头捕捉手势信息，然后对手势图像进行预处理和阈值分割，再加入形态学的方法，使用模板匹配对手势进行识别。经过多次实验表明，该方法是可行的，对手势的识别准确率高。

关键词：手势识别, 机器视觉, OpenCV, 静态轮廓匹配, 肤色模型

一、研究背景与意义

1.1课题背景及问题的提出

  近年来，随着计算机性能的渐渐提高和计算机在各个领域的运用，人机交互技术已成为计算机科学范畴的一个热门话题。现在，这些研究主要是人脸识别、脸的表情识别、嘴唇的识别等，能模仿人的感觉认知。作为人性化技术的新类型，手势识别是人类相互作用的中心，成为计算机相互作用领域的热话题。
  但是，由于多样性、多义性，时间和空间的不同，人的手是复杂的变形体，是模仿认识挑战性的学习的话题。目前，手势识别技术已经形成了一个比较完整的理论体系，由手势的输入方式划分，可以分为基于数据手套的手势识别和基于视觉的手势识别两种[10]。本次设计运用了OpenCV多种函数库，从而实现基于机器视觉的手势识别研究。
  未来，随着计算机技术的不断发展，手势识别将迈向以人机交互、人机智能的研究时代。目前，手势识别作为一种新型的人机交互技术，已经成为图像处理、模式识别、计算机视觉等领域的一个活跃的研究课题[11]。本文主要是研究了基于机器视觉的手势识别，对手势进行一些加工处理，实现对简单手势的识别。

1.2 手势识别技术发展现状及发展趋势

  目前的手势识别技术主要是通过数学算法来实现的。我们可以通过手势操纵设备和控制设备，手势识别就是让计算机理解人的行为，之后做出判断，实现智能化。相信在未来的继续发展下，数字图像处理技术一定会更加完善和优化，进而为手势识别技术的发展带来更多的帮助[14]。

1.2.1国内外研究现状

  从上世纪90年代起，国外在手势识别研究领域花费大量的财力物力，取得了一定的研究成果。J.Davis 和 M.Shah 将戴上指尖具有高亮标记的视觉手套的手势作为系统的输入，可识别7 种手势[18]。Vogler 与 Metaxas 将数据手套与视觉手势识别的方法结合，采用一个位置跟踪器和三个相互垂直的摄像机作为输入设备，对 53 个美国手语孤立词进行了识别，识别率为 89.9%[19]。2003年，美国研究的手势风暴来实现对天气的预测。2009年，美国研发的LCD电视控制传感器，人可以通过自己的手势对电视机的控制，比如换台和调节设置。2010年，微软发明的XBOX 360游戏外设Kinect，可以直接用摄像头与玩家进行互动，体验真实的游戏。2012年，著名的世界汽车生产商奥迪开发了一款汽车导航系统，直接用手势操纵导航信息。2005年，韩国三星手机制造商研发了世界上第一款手势识别的手机，用户通过手势即可操作手机。苹果公司在2016年获得了Apple Watch传感器的专利，利用手机可以让Apple Watch替代手机实现手机的功能。索尼公司在本世纪初也研发了基于手势的游戏外设，利用体感让玩家体验游戏的真实性。
  相对于国外手势识别研究，我国的手势识别研究发展较为缓慢。2011年，腾讯公司推出了一款名为“QQ手势达人”的软件，该软件可以让用户通过手势对PPT播放进行控制，并可以进行换页调节，简化了人对于机器操作的过程。2012年，我国著名的康佳电视生产商发明了一款利用手势操作的智能化电视机，通过摄像头捕捉用户信息，反馈到电视机系统，系统对人的手势做出判断，从而实现对电视机操作的简化。

1.2.2手势识别技术发展趋势

  手势识别技术最终的核心和发展趋势必将是人机交互和人机智能。正是在这样的环境下，随着科学技术的不断发展，数字图像处理技术的应用领域也得到了极大的拓展[12]。但是在手势识别过程中，对于简单的背景变化幅度小的背景下，实现手势识别是一件特别容易的事。但是在复杂的背景下，手势识别的过程将受到阻碍，这些复杂因素还没有得到解决。这就需要图像处理技