34、混合现实与协作式增强现实开发全解析

混合现实与协作式增强现实开发全解析

混合现实技术要点

深度线索与传感器补偿

在混合现实中，物体位置差异（视差）是重要的单眼深度线索。同时，虚拟物体的移动可弥补传感器系统的不准确。当虚拟物体并非精确固定在现实空间某位置，而是有一定移动时，这种移动能补偿追踪的误差。

阴影的作用

阴影也是重要的单眼深度线索。在现实世界中，阴影无处不在，可直接从相机图像获取。但在虚拟场景里，阴影并非现成可得。实时渲染阴影会增加场景复杂度并降低性能，不过虚拟阴影能为虚拟场景增添重要的深度线索，其带来的增强效果超过性能损耗。当结合虚拟和真实阴影时，二者在视觉上应保持一致，即角度和方向相同。将虚拟物体的阴影投射到现实世界的物体上，以及将现实物体的阴影绘制在虚拟物体上，能显著改善图像融合效果。特别是将虚拟阴影投射到现实地面，可增强混合现实体验。阴影在单眼和立体场景中都适用，且在立体场景中，阴影定位需更精确。

光照模拟

现实世界中光照无处不在，虚拟场景需模拟这种光照。若虚拟场景中无光照或光照不同，物体会显得不自然。与阴影不同，在混合现实中重现光照相对容易，只要大致方向正确，物体看起来就会很逼真。

其他技术

还探索了景深、通用图像融合和镜头校正等技术。若应用得当，这些技术能增强最终的混合现实效果，但在创建沉浸式混合现实体验方面，它们的优先级相对较低。

引导用户体验

游戏隐喻设计

利用游戏隐喻能相对轻松地设计出用户易于理解和遵循的体验。当前VGE版本中，游戏玩法通过脚本语言实现，这需要程序员协助艺术家实现游戏玩法，目前正在研究能否改进这