TPAMI 2018论文概述 | 在全景视频中预测头部运动：一种深度强化学习方法

作者丨徐迈、宋宇航、王健伊、樵明朗 等

学校丨北京航空航天大学本科生

研究方向丨全景视频与强化学习

本文概述了 2018 年 8 月发表在 IEEE TPAMI 期刊的论文 Predicting Head Movement in Panoramic Video: A Deep Reinforcement Learning Approach。在此论文中，北京航空航天大学本科生宋宇航、王健伊、樵明朗等及其导师徐迈、王祖林，提出了一种基于强化学习的全景视频头部运动预测方法，实现了在离线和在线两种设定下对人类观看全景视频时视野（即：头部运动）预测。论文相关数据库及代码均已开源。

■ 论文 | Predicting Head Movement in Panoramic Video: A Deep Reinforcement Learning Approach

■ 链接 | https://www.paperweekly.site/papers/2417

■ 源码 | https://github.com/YuhangSong/DHP

■ 数据 | https://github.com/YuhangSong/DHP

背景

在观看全景视频的时候, 人们通过对头部运动（HM）的控制使自己能够自由地控制视野（FoV），从而产生身临其境的交互式体验。因此，HM 在人类对全景视频的注意力建模中起着关键作用。

本文首次建立了一个收集全景视频注意力的数据库（图 1），采集了被试者在全景视频序列上的 HM 位置。从该数据库中，论文发现 HM 数据在不同被试者中高度一致。

▲ 图1. 本文首次建立的一个收集全景视频注意力的数据库（部分）