23、基于虚拟现实的沉浸式远程呈现系统：技术与应用

基于虚拟现实的沉浸式远程呈现系统：技术与应用

1. 相关工作

1.1 远程呈现系统

构建远程呈现系统，以实现空间上分离的人们进行虚拟聚集，一直是计算机科学研究的热门话题。基于视频的远程呈现系统，虽然沉浸感严重不足，但因其简单性而被广泛使用。为了改善体验，许多新型系统应运而生。例如，有的系统利用Kinect显示头像，模拟带有目光注视的面对面远程会议。为克服基于视频系统的局限性，基于渲染的沉浸式远程会议系统越来越多。有的系统利用RGB - D相机动态重建用户模型，并渲染到远程用户的屏幕上；还有的系统使用点云的稀疏3D表示并支持虚拟座位，以更好地模拟面对面交流；也有结合Kinect 3D建模和运动视差的改进视频会议系统。近年来，基于混合现实的远程呈现系统开辟了远程会议的新途径。然而，大多数这些远程呈现系统要求用户从2D平面屏幕观看3D图像，用户需想象自己处于3D场景中，因此无法获得令人满意的沉浸式远程呈现体验。

1.2 远程协作系统

除了实现远程对话，研究人员还致力于实现空间上分离的人们的远程协作。有的立体视觉系统实现了用户的实时3D重建，让用户沉浸在虚拟空间中与虚拟对象进行交互，创造了新颖的远程沉浸式协作体验，但实时3D重建无法提供高质量的渲染结果。有的ImmerseBoard系统利用先进的实时渲染和可视化技术，为不同位置的用户创造了在黑板上并排书写的沉浸式体验，但其仅支持非常有限的远程协作方式，且一次只能支持两个用户。基于混合现实的远程呈现系统提供了一种新颖的协作空间探索方式，但人机交互方式有限，用户仍从2D平面屏幕观看，无法提供像VR远程呈现系统那样的沉浸式体验。

1.3 3D头像

3D头像的生成和操作对于提