Editable FreeViewpoint Video

使用分层神经表示的可编辑自由视点视频

自由视点视频的生成对于沉浸式VR/AR体验非常重要，但是最近神经方法进展仍然缺乏在大动态场景下操纵视觉感知的编辑能力。为填补当前的空白，作者首次提出使用16个相机来编辑大尺度视角相关动态场景的自由视点视频。论文的核心是一个新的分层神经表示，每个动态实体包括周围的环境都被融合到空时增加的神经层辐射场，叫做ST-NeRF. 这样一个层表示支持动态场景的操作，仍然能够支持一个宽自由视点实验。在ST-NeRF中，作者表示动态的实体/层作为一个连续的函数，实现了动态实体的位置、变形和外观的连续自监督分离。作者提出一种基于场景解析的4D标签图跟踪算法，实现空间信息的显式分离和一种连续变形模块来隐式求解时间运动。提出一种面向对象的体绘制方法，用于所有神经层的重新组装。作者采用一种新颖层损失和运动感知射线采样策略来能够有效训练一个含有多个表演者的大动态场景。作者提出的框架还支持各种编辑函数，例如：操作尺度和位置、复制、重新调整单个网络，在保证高真实感的同时创造大量的视觉体验。

作者的主要贡献：

（1）作者证明只用16个相机就能够完成编辑自由视点视频生成的能力，这使得各种照片真实的的时空感视觉编辑效果，支持广泛的自由观看；

（2）作者证明一个用于大尺度动态场景建模和操作的新颖神经层表示方法，能够将位置、形变、动态实体进行分解；

（3）作者提出一个分层的4D标签图跟踪来分解空间显示信息，连续形变模块来分解所有动态实体；

（4）作者提出一个层损失和一个运动对象射线采样策略来有效训练分层神经来表示一个大尺度多人的动态场景；

相关研究：无深度学习的基于图像渲染方法；神经渲染方法；动态场景重建；视频编辑

实验结果

了解更多关于《计算机视觉与图形学》相关知识，请关注公众号：

下载我们视频中代码和相关讲义，请在公众号回复：计算机视觉课程资料