30、增强现实交互式模拟中提升用户角色的技术探索

增强现实交互式模拟中提升用户角色的技术探索

1. 用户手部追踪的重要性

在增强现实（AR）交互式模拟里，用户手部追踪意义重大。像索引、拾取、抓取和推动等活动，都要用到一只或两只手。所以，识别并追踪手部在场景中的位置极为关键。

2. 增强现实中的真实感与遮挡处理

2.1 遮挡处理的重要性

在增强现实环境里，正确处理真实物体和虚拟物体之间的遮挡，对提升场景真实感至关重要。若遮挡管理缺失或有误，会降低环境整体质量，让用户感觉环境不真实、令人不适。然而，处理遮挡相当复杂。

2.2 常见处理方式

• 标准增强现实实现 ：通常会忽略真实物体和虚拟物体间的遮挡，把从现实世界获取的图像当作简单背景纹理，在上面叠加虚拟物体和信息。
• 仅涉及虚拟物体的遮挡 ：可借助计算机图形学中常用的 z - 深度比较技术轻松计算。具体做法是，将所有待渲染实体按离视点从远到近的顺序排列在一个列表（z - 缓冲区）中，然后按此顺序渲染，这样远处的几何体就会在近处的之后渲染，自动产生遮挡效果。

2.3 利用深度图管理遮挡

使用红外投影仪/相机系统获取环境深度图，有助于处理真实物体与虚拟物体的遮挡。以 Kinect 传感器为例，它能生成所获取场景的 3D 几何（多边形）描述。基于这些数据，可计算出传感器获取的真实物体各点的 3D 坐标。同样，处理深度相机的信息，能算出环境网格每个像素的 z 坐标（与图像平面的距离）。这些关于网格的信息可用于在 z - 深度比较中，将场景中的真实物体与其他