13、基于视频分析的人体手势识别用于机器人操控

基于视频分析的人体手势识别用于机器人操控

1. 引言

人机交互（HRI）领域正日益重要，因为机器人在人类活动中的参与度不断增加。HRI 是对人类与机器人之间动态交互的跨学科研究，涉及工程、计算机科学、社会和人文科学等多个领域。

从人机关系的角度来看，人类用户可以分为多个层次，如专家、熟练工人、非熟练工人、残疾人、普通公众和儿童等。此外，还有基于数字关系、空间关系和权威关系的分类，以及基于人类对机器人功能责任的分类，包括手动控制、带智能辅助的手动控制、协商控制和监督控制。

HRI 关系存在于多个领域，如人 - 操作员交互、自动化、科幻、合作工作、认知科学、行为学、情感和个性等。人 - 操作员关系又可分为以人为主和以机器为主两类。认知科学在机器人领域涉及研究个体（人/机器人）如何从其他个体获取信息或能力。

目前用于 HRI 的工具和技术有键盘、触摸屏、书面符号、声音命令、头盔、手套、压力传感器、脑电图信号、语音命令和身体手势等。其中，使用视觉系统进行身体手势识别是一个日益受到关注的研究领域，因为它提供了自然而强大的交互方式，更接近人类的交流形式，并且避免了使用人工设备。

本文旨在解决识别由人产生的手势以引导机器人的问题。该方法基于对做手势的移动人员的视频颜色分析，包括人体中部分割、手臂和前臂定位以及手臂和前臂位置识别。经过初始化阶段后，该方法的输出元素可用于实时引导机器人并激活其硬件机制。

2. 实验框架

实验分析的数据库由 9 个视频组成，视频中的人站在相机前 1.5 至 3 米的距离处，视频分辨率为 240x320 像素。其中 6 个视频是使用索尼 Cybershot 相机在光照较差的环境中拍摄的