全景视频/VR的全流程处理解析-文献资料整理归纳

本文由以下资料整理汇总而成：

• 5G高新技术—VR视频技术白皮书-2020
• 基于视场的沉浸式视频质量建模及应用
• 面向视窗依赖机制的全景视频传输优化研究_谢绍伟
• 全景视频的投影转换及编码_于宁
• 全景视频的质量评价和编码优化_陈思佳
• 全景视频拼接关键技术研究_蓝先迪

1. 完整流程

2015 年 10 月，MPEG 发起了面向全景视频封装格式的标准化工作，称作全方向媒体格式（Omnidirectional MediA Format，OMAF），由来自世界各地高新企业、研究机构、高等院校的专家共同参与制定。

OMAF 标准中规定，服务器端拼接的全景视频在经过内容预处理、编码及封装过程后，可以通过 DASH 或 MPEG 媒体传送协议流化传输。OMAF 播放器一方面可以接收、解析并呈现相关的媒体内容，另一方面需要追踪用户头动、眼动等交互操作，以便实时反馈视窗信息。

2. 拍摄

全景视频的采集需要依靠全景摄像机，如上图所示。全景摄像机具有多个镜头，覆盖当前场景全部视角，生成的视频分辨率越高，则需要摄像机具有越高的分辨率以及越多的镜头数量。

存在的主要问题：

视场角（Field of view，FOV）

视角FOV是指镜头所能覆盖的范围，(物体超过这个角就不会被收在镜头里),一个摄像机镜头能涵盖多大范围的景物，通常以角度来表示，这个角度就叫镜头的视角FOV。被

如果说有六台摄像机，它们的FOV角度被严格限定为水平和竖直都是90度，然后造一个一丝不苟的支架，把这六台摄像机牢固而稳定地安装到支架上，确保它们的中心点严格重合在一起，并且各自朝向一个方向——这样的话，输出的图像也许能够正好符合立方图的标准，并且可以直接使用。

然而，无论摄像机镜头的感光面积，焦距参数（以及由此得到的视场角），还是支架的钢体结构设计与制作，都无法确保精确地达到上面要求的参数。

mm量级的光学或者机械误差对于严丝合缝的立方体图像来说，必然会在最终呈现的沉浸式场景中留下一条或多条明显的裂缝

解决方法：

在拼接的地方留下足够大的冗余，然后正确识别和处理两台摄像机画面重合的区域。而这正是全景视频制作的下一步骤——拼接。

其他问题：

1. 多个摄像头之间的同步性——“同步锁相”（genlock）的技术
2. 伪立体——比如将原来的6台相机改成12台相机，即每个方向都有左右眼两台相机负责拍摄。

3. 拼接

详见：https://blog.youkuaiyun.com/shanghaiqianlun/article/details/12090595

常用的视频拼接算法可分为基于变换的图像拼接算法和基于拼接线的图像拼接算法。

• 基于变换的图像拼接算法的核心思想是通过对单应性矩阵进行调整，通过网格化的扭曲使重合区域拼接的缝隙尽可能减小，该算法适合小视角变换的情况。代表性算法有 AutoStitch、APAP、ANAP、GSP 等。

• 基于拼接线的图像拼接算法核心思想是通过对图像拼接线部分的重新调整，确保拼接的自然性,该算法适合大视角变换的情况。代表性算法有：Seam-Driven、Paral