14、基于轨迹的手势识别之运动表示方法解析

基于轨迹的手势识别之运动表示方法解析

1. 引言

基于手势的界面主要任务是检测和识别用于通信的视觉信息。手势识别系统通常按顺序执行以下步骤：获取、检测和预处理；手势表示与特征提取；识别。手势的表示方法主要有基于模型和基于外观两种。

• 基于模型的表示
  • 2D模型 ：依赖于不同的基于颜色的模型（如RGB、HSV、YCbCr等），或从2D图像中获得的轮廓。例如可变形的Gabarit模型依赖于主动可变形形状的排列。
  • 3D模型 ：可分为网格模型、几何模型、体积模型和骨骼模型。体积模型能高精度地描述手部动作；骨骼模型将手部信号简化为一组具有片段长度的相同关节角度参数。不过，使用单相机进行基于模型的表示存在自我遮挡的问题，一些系统使用多相机或立体相机并限制运动范围来避免，但这也会带来精度等方面的问题。
• 基于外观的表示 ：试图直接从视觉图像/视频或从原始数据中提取的特征来区分手势。例如，Wilson和Bobick使用灰度图像（无背景）进行手部动作的表示；Yamato等人使用人体活动的低级别轮廓在隐马尔可夫模型（HMM）系统中进行识别；Akita使用边缘和简单的二维身体设置信息来确定身体部位。但这种表示方法在特征提取时需要从视频序列的每一帧中提取和跟踪单个特征或属性，且传统的序列状态空间模型（如HMM和CRF）在处理视频中运动模式的大变化时效率不高，序列匹配方法（如DTW）也难以匹配不同人执行的各种动作/手势。

因