《Kinect-Sign:通过游戏教授手语给“倾听者”》
1. 引言
沟通是理解他人和被他人理解的至关重要的方式。然而,听力障碍人士在沟通方面面临着诸多障碍。据世界卫生组织统计,全球约有 3.6 亿人患有致残性听力损失,其中 3.28 亿为成年人,其余为儿童,且 65 岁以上人群中约三分之一患有致残性听力损失。
大多数听力障碍者掌握手语,这是他们群体长期发展而来的交流方式。但当非听力障碍者(如听力障碍者的家人、朋友和同事)试图与他们交流时,问题就出现了,因为几乎没有专门为非听力障碍者设计的学习手语的机制。
研究界一直在努力开发手语识别(SLR)系统,但问题远未解决。多数实现依赖图像处理,尽管匹配算法有进展,但实时识别仍需强大的处理能力。而且,研究大多在词汇量上受限或依赖特殊手套。在商业教学方面,学习手语的途径也很有限,专业学校和视频虽有,但仍有不足。
微软推出的 Kinect 设备本意是革新游戏产业,去除游戏中的操纵杆和控制器。随着其发展,Kinect 传感器也开始应用于其他研究领域,包括 SLR 领域,研究界逐渐从传统基于摄像头的方法转向基于 Kinect 的方法。本文的主要目标是提出 Kinect SDK 的扩展,提供手势处理支持,并创建一款严肃游戏,帮助非听力障碍者学习手语。
2. 技术现状
通过严肃游戏教授手语涉及多个不同领域,主要包括手语和 Kinect 设备。
2.1 手语
- 手语特点 :手语与口语既有相似之处,也有不同。口语通过声音模式传达意义,而手语基于手部动作和身体语言。两者都是自然语言,一些手语甚至获得了