31、迈向Web3D手语化身索引

迈向Web3D手语化身索引

1. 引言

手语是聋人使用的一种视觉/空间语言，不同国家或地区使用不同的手语。例如，美国聋人社区使用美国手语（ASL），而突尼斯不同地区也有不同的手语。与口语不同，手语基于象形符号，这使得这种交流方式更加复杂。

聋人青少年往往缺乏获取信息的途径，无法接触到讨论科学概念的媒体。手语化身有望打破聋人获取信息的障碍，这些3D动画角色能够为各种媒体提供手语翻译。在突尼斯，多年来一直使用手语化身来教导聋童及其家长，WebSign项目已创建了一千多个3D手语“短语”。然而，目前收集到的大量3D手语场景尚未得到有效索引和检索。

本研究的主要贡献是提出了一种基于内容的手语化身检索的有效索引和匹配算法，该框架类似于搜索引擎，具体包括：
- 从Web3D手语化身中提取和规范化动作
- 使用动态规划自动识别3D手语
- 使用手语标记语言（SML）对3D场景进行索引
- 根据相似度对用户查询进行解释和结果排序

2. 相关工作

由于3D手语化身包含丰富的时空数据，本研究涉及手语识别和3D动作检索两个领域。

2.1 3D动作检索

在3D空间中自动检索动作/手势是一项具有挑战性但有用的技术。相关研究包括使用多层有限状态机进行人体交互的动作跟踪和识别，以及通过身体姿势向量进行人体手势识别。3D动画的检索应基于现有的动画模型，而不是用户预定义的元数据。对于VRML/X3D场景，由于可以获取手掌位置和关节角度等重要参数，因此采用基于骨骼的方法进行3D动作识别和检索。

2.2 手语识别

手语自动识别的研究始于20世纪90