20、混合现实中的听觉与身体运动交互探索

混合现实中的听觉与身体运动交互探索

1. 混合现实中的听觉挑战与优化

在混合现实（MR）领域，跨感官模态的连贯性是一大挑战。例如，将真实视觉对象与虚拟听觉声音相结合时，需要涉及实时跟踪。若时空上不连贯的刺激出现，会降低沉浸感。不过，多感官优化能为这种组合带来益处，可利用多模态感知特性弥补某些模态的不足。

• 多感官优化示例 ：
  • 当听觉显示与相应的视觉输入结合时，可降低听觉显示的空间分辨率。
  • 当视觉与能提供事件时间结构的声音结合时，可采用较低的视觉帧率。

未来，与头部相关的声音渲染方法有望在MR应用中占据主导地位。这些方法可能会对周围声音进行实时处理，提供一个混合音景，将选定的现实声音与其他声音内容（如音乐、信息标签、警报等）混合。对真实音景的处理可能包括主动降噪、增强和放大所需声音，以及调整声学特性（如改变房间声学效果以提高清晰度）。除了与沉浸感相关的研究（如娱乐、培训和网络治疗），听觉MR还将有许多支持性应用，包括为盲人设计的导航系统和信息服务。

2. “三人乒乓球”游戏对混合现实中身体运动的探索

人类通过身体及其相关的运动动作来体验物理和社会环境。然而，大多数混合现实系统从计算角度出发，将真实世界与虚拟世界融合，往往只提供与少数增强型有形物体的有限交互可能性，从而忽视了身体的能力。

• 传统混合现实系统的局限 ：许多混合现实应用以有形物体为主，主要提供手部和手指的精细运动交互，这只是人体所能支持的表达动作的有限子集。