60、用同步动态乐器增强虚拟性：混合现实MIDI键盘的用户评估

用同步动态乐器增强虚拟性：混合现实MIDI键盘的用户评估

1. 引言

虚拟现实（VR）技术虽已存在数十年，但近期的进展使其再度受到关注，众多面向消费者的设备应运而生，如头戴式显示器（HMD），像HTC Vive和Oculus Rift，以及3D跟踪设备，如Leap Motion和Microsoft Kinect。此外，触觉技术，如手套、工具和身体套装，也在这种新的交互方式中得到重新应用。

尽管头部跟踪与双目显示相结合能提供沉浸式的虚拟环境，但用户仍处于真实的物理环境中。例如，用户在虚拟环境中漂浮时，仍能感受到现实中的重力。这种现实世界与虚拟环境之间的脱节可能会导致VR晕动症。实际上，任何虚拟体验在不同程度上都是混合现实（MR）体验，处于Milgram和Kishino提出的虚拟性连续体上。虚拟环境在这个连续体上的位置与物理交互的程度有关，一端是纯粹的现实环境，另一端是纯粹的虚拟环境。若体验与虚拟程度不匹配，会降低用户的沉浸感。

HTC Vive和Oculus Rift VR系统的控制器旨在模仿用户可能交互的物理对象，以减少体验与期望之间的差距。然而，在更复杂的环境中，当对象不符合控制器的枪状形状时，沉浸感就会消失。像Leap Motion控制器这样的手部跟踪系统，能实现更高级别的交互，但在与虚拟对象交互时，用户需要抓握空无一物的空间，这也会影响体验。

为了改善虚拟体验的沉浸感和交互性，本项目旨在探索与用户虚拟程度更匹配的物理交互方法，以演奏乐器这一需要物理交互的现实应用作为测试平台。通过使用定制的MIDI键盘作为原型接口，并结合一些新兴的VR技术，本项目探索如何保持用户与现实世界的物理连接，以实现增强虚拟性。

2. 背景和相关工作