全景视频预测头部移动-Predicting Head Movement in Panoramic Video: A Deep Reinforcement Learning Approach

链接地址：https://arxiv.org/pdf/1710.10755v4.pdf

项目地址：https://github.com/YuhangSong/DHP

摘要

        全景视频提供沉浸式虚拟现实和交互的体验通过让人去控制观察区域（FOV）通过头部移动（HM）。HM扮演了一个关键的角色在模型人注意在全景视频上。这篇文章建立了一个数据库收集目标的头部信息在全景视频序列中。从这个数据库中，我们发现HM数据具有高度一致跨主题。另外，我们发现深度强化学习（DRL）能够应用制造HM位置，通过最大化奖赏模仿人HM扫描路径通过代理运动。基于我们的发现，我们提出一个基于深度强化学习HM预测方法使用离线和在线两个版本，成为离线DHP和在线DHP。在离线DHP，多个深度强化学习数据流运行决定潜在的HM位置在每一个全景帧中。然后，一个头部图在潜在HM位置，称为HM图，生成作为输出的离线DHP。在线DHP，下个HM位置的一个主观评估被给当前的观察HM位置，完成通过开发一个DRL算法来在学习离线DHP模型。最后，这个实验证明我们的方法是有效在在线和离线预测的HM位置对全景视频，学习离线DHP模型能够提高在线DHP性能。

整体效果图

离线DHP方法的整体框架

训练DRL模型得到DRL工作流在离线DHP方法

在线DHP方法

HM图

更多《计算机视觉与图形学》知识，可关注下方公众号：