基于手势的多模态MR交互

2020 IEEE 第9届全球消费电子大会 (GCCE)

掌上之嘤：真实世界与虚拟世界之间的多模态MR交互

图1. 我们游戏系统的实现示意图

图2. 系统架构

摘要

我们提出了一种真实世界与虚拟世界之间的多模态 MR 交互。以往的相关研究仅关注现实侧用户与虚拟生物之间的多模态交互，或 VR 体验用户与现实侧用户之间的视觉和听觉交互。因此，我们开发了一种 MR 游戏内容，通过根据现实侧等待或陪同用户的手掌姿态来倾斜 VR 体验用户的坐姿，从而实现真实世界与虚拟世界之间的交互。

关键词 ：混合现实，运动平台，前庭感觉，体感，多模态交互

I. 引言

近年来，VR 技术取得了显著进展，提供了沉浸式的体验。然而，用户在体验 VR 内容时往往需要较长时间等待。在此期间，等待或陪同的用户可能会感到无聊。因此，为了提升等待期间的用户体验，研究人员尝试让等待者或陪同者参与同一 VR 内容。为此，已有研究致力于实现现实侧用户与正在体验 VR 的用户之间的多模态交互，以缓解等待时间，并增强整体体验。

尽管如此，现有相关研究主要集中在两个方向：一是现实侧用户与虚拟生物之间的多模态交互；二是 VR 体验用户与现实侧用户之间的视觉和听觉交互。因此，我们提出一种真实世界与虚拟世界之间的多模态 MR 交互。基于这一理念，我们开发了一款 MR 游戏内容，通过利用运动平台 [3]，根据现实侧用户的手掌姿态来倾斜 VR 体验用户的坐姿，从而实现真实世界与虚拟世界之间的交互。通过触觉反馈与身体感知，而不仅仅是视觉和听觉交互，我们期望提升内容的沉浸感，并增强虚拟环境的真实性。

II. 系统概述

图1展示了我们的游戏系统。虚拟侧用户在一段时间内在虚拟手掌上保持平衡，而现实侧用户在同一时间段内从物理设备上控制虚拟手掌的姿态，从而使虚拟侧用户也受到影响。

图2展示了系统架构。现实侧用户使用 VIVE Tracker 检测手掌的倾斜角度，并将其映射到游戏中虚拟手掌的倾斜状态，进而同步控制运动平台的倾斜。手掌的倾斜角度由现实侧用户的动作实时决定。

虚拟手掌在游戏中的倾斜角度与运动平台的倾斜角度保持一致。现实侧用户可以通过观察虚拟侧用户的表情和姿态等非语言线索来参与游戏互动。

这样一来，虚拟侧用户由于运动平台随虚拟手掌倾斜而产生晃动，会感受到身体失衡，并通过相应的身体调整动作做出反应，从而获得更真实的体感反馈。

通过这种机制，两位用户得以在真实世界与虚拟世界之间建立联动。

A. 虚拟手掌角度采集

通过 VIVE Tracker 检测现实用户手掌在 ±90° 范围内的倾斜角度。我们的运动平台可在 ±25° 范围内倾斜，超出该范围则触发安全保护机制。游戏内容的最大倾斜角度设定为 ±15°。根据运动平台的实际倾斜角度，虚拟侧用户所看到的游戏场景将以相同角度倾斜。虚拟手掌的最大倾斜角度可达 ±45°，以便让虚拟侧用户明显感知到与运动平台一致的倾斜效果。

具体映射关系如下：虚拟手掌的倾斜角度为现实侧用户手掌倾斜角度的 1/2，而运动平台的倾斜角度为虚拟手掌倾斜角度的 1/3。因此，当虚拟手掌大幅倾斜时，虚拟世界中的用户会明显感受到晃动，但不会立即失去平衡，从而保证游戏的可玩性与安全性。因此，虚拟手掌的角度范围进行了上限调整。

B. 下滑与否的处理 —— 虚拟侧用户的平衡判定

图3. 虚拟手掌状态

如图3 (A) 和 (B) 所示，我们在虚拟空间中定义了一个球体 F(Xf, Yf, Zf)，其倾斜角度与虚拟手掌 P(Xp, Yp, Zp) 相同，并在其上方设置一个较小的球体。通过检测小球是否从大球表面滑落，我们计算出虚拟侧用户是否从虚拟手掌上掉落。

如图3 (C) 所示，我们进一步实现了动态响应机制：当虚拟侧用户身体上半部发生倾斜时，系统会相应调整虚拟手掌的倾斜状态，从而影响虚拟球体的姿态。

当用户上半身发生倾斜时，不仅会影响虚拟侧用户的姿态，也会反映在运动平台本身的倾斜状态上。然而，为了避免误判，我们将运动平台的状态与用户上半身的独立姿态区分开来。我们利用 IMU 传感器捕捉用户上半身的倾斜角度，并将其与平台状态解耦。

设用户头部坐标为 (xh, yh, zh)，则其相对于重力方向的滚动角（Roll）为 arctan(yh / zh)，俯仰角（Pitch）为 arctan(xh / zh)。根据虚拟侧用户上半身的倾斜角度，系统判断虚拟球体是否脱离大球表面，即是否发生滑落。

当虚拟球体处于图3 (B) 状态时，若继续倾斜，则进入图3 (C) 状态，从而判定为滑落。

此外，还需考虑虚拟侧用户在虚拟手掌上的位置稳定性。理想情况下，用户的投影位置应与初始接触点保持一致，即在虚拟手掌的局部坐标系中保持静止。

如图3 所示，当虚拟球体未滑落时，虚拟侧用户在局部坐标系 P 中的位置不变。然而，当虚拟球体开始滑动时，其位置不再固定于虚拟手掌之上。因此，我们引入新的局部坐标系 F，使其与虚拟球体的运动轨迹对齐，确保当虚拟球体滑动时，其在新坐标系中的位置随之更新。

当虚拟球体从大球表面滑落时，仅使用上述坐标变换不足以还原真实运动。因此，当检测到滑落事件时，我们切换至物理模拟模式，使虚拟侧用户与虚拟球体一同脱离手掌，从而实现逼真的跌落效果。通过引入物理引擎模拟，可以准确再现用户从虚拟手掌上掉落的过程。

C. 多模态反馈与沉浸感增强

为了进一步提升虚拟侧用户的沉浸感，系统集成了多种感官反馈机制。除了通过运动平台提供的前庭与体感反馈外，还结合了视觉渲染的变化与空间音频提示。当虚拟手掌发生倾斜时，虚拟环境中的光影方向、背景音效均随之动态调整，强化用户对姿态变化的感知。

现实侧用户虽然不佩戴头显，但可通过外部屏幕实时观看虚拟场景，并根据虚拟侧用户的反应进行互动调整。这种跨维度的协同机制使得两位用户能够共享同一游戏目标——维持虚拟手掌上的平衡——从而形成一种新型的共在（co-presence）体验。

此外，系统支持角色互换机制：在一轮游戏结束后，两位用户可交换角色，亲身体验虚拟世界与现实操控的不同视角。这不仅增强了参与感，也促进了双向理解与协作。

III. 结果与展望

通过上述系统设计，图1 (A) 展示了游戏在现实侧的操作界面，图1 (C) 显示了虚拟侧用户在虚拟手掌上的第一人称视角。我们实现了现实用户手掌、虚拟手掌与运动平台之间 6:4:1 的倾斜角度比例关系，即现实手掌最大±90°，虚拟手掌限制在±45°，运动平台控制在±15°以内，确保安全性和响应一致性。

虚拟手掌的倾斜角度变化平滑且可预测，有效提升了虚拟环境的真实感。实验结果显示，多数参与者能够快速适应系统反馈，并主动通过微调手势来帮助虚拟侧用户维持平衡。这表明该多模态交互机制具有良好的可用性与趣味性。

未来工作中，我们计划扩展游戏内容的情感表达维度，引入更多生物信号（如心率、肌电）作为交互参数，并优化虚拟手掌的材质与物理属性，以提供更丰富的触觉暗示。同时，将进一步探索多人协同场景下的群体交互模式，推动混合现实技术在社交娱乐领域的深度应用。

当前系统已验证了真实世界与虚拟世界之间基于身体姿态的闭环交互可行性。通过将现实用户的肢体动作转化为虚拟世界的动力学响应，并结合运动平台带来的体感反馈，成功构建了一个跨现实边界的共感空间。该成果为MR环境中的人机协同与跨域交互提供了新的设计范式。