46、实时视觉跟踪技术在人机交互中的应用探索

实时视觉跟踪技术在人机交互中的应用探索

1. 基础检测 - 跟踪算法

基础检测 - 跟踪算法是一种混合方法，它继承了两种流行视觉方法的优点，即Viola和Jones提出的类Haar特征增强级联方法，以及Bradski提出的连续自适应均值漂移（CAMSHIFT）方法。

2. 头部姿态和运动估计

通常有六个头部姿态或运动参数，分别记录滚动、倾斜、偏航、缩放、水平和垂直头部运动的估计值。
- 头部滚动角度估计 ：在hMouse系统中，头部滚动角度由CAMSHIFT算法估计。该算法在OpenCV中有简洁的代码实现，运行速度快（在我们的计算机系统上约190 - 200 fps），并且对于头部滚动角度估计很可靠。
- 倾斜和偏航角度估计 ：为了节省系统计算资源，未设计3D模型来估计倾斜和偏航角度，而是采用基于运动的算法进行近似估计：
1. 计算并对帧间差异进行阈值处理以获取轮廓掩码。
2. 更新运动历史图像（MHI）。
3. 计算MHI的导数并计算梯度方向。
4. 在面部跟踪窗口中，构建方向直方图并找到基本方向。
5. 计算相对于基本方向的偏移并估计总体运动方向。
6. 相对于中立位置（θtilt = θyaw = θroll = 0），累积几个相邻帧在总体运动方向上的运动强度（时间偏移），以确定倾斜和偏航角度。
- 缩放参数处理 ：缩放参数与跟踪窗口的大小相关。由于hMouse有检测 - 跟踪模式选择方案，跟踪窗口在某些模式切换点会产生严重抖动。为了通过时空平滑克服意外抖动，将跟踪边界