Quadratic Video Interpolation 视频插帧

这篇文章来自NeurIPS 2019，主要关于视频插帧。视频插帧的目的是在视频中合成新的中间帧，以提高视频的帧率。

以前的关于视频插帧工作的主要特点：

• 通常假设物体帧间运动是匀速的，所以通常采用线性模型进行插帧

这篇论文的主要创新点是：

• 考虑视频中帧间物体运动的加速度信息，能够更加准确刻画视频中物体的真实运动轨迹。(为了简单，文中考虑的是匀加速运动)

下面详细分析改论文的主要内容。

1. 网络整体结构

首先来看下，改论文进行二次视频插帧的整体网络框架。
从上图可以看出，为了实现二次视频插帧，作者提出了两个关键模块：quadratic flow prediction 和 flow reversal模块，来实现两个方向的光流计算，用于计算最终的插入视频帧。下面来分析这两个光流计算模块。

2. 主要模块

为了叙述的方便，先对下文中要用到的符号进行简单的说明。

• { . . . , I − 2 , I − 1 , I 0 , I 1 , I 2 , . . . } : \{...,I_{-2},I_{-1},I_0,I_1,I_2,...\}: { ...,I−2​,I−1​,I0​,I1​,I2​,...}: 表示连续的视频帧。
• 不失一般性，下文以在$I_0,I_1$ 连续两帧之间插入新的帧 $\widehat{I_t},t\in (0,1)$ 为例。
• $f_{0\to t}:$ 表示像素从 0 时刻到 $t$ 时刻产生的位移。
• $v_t:$ 表示像素在 $t$ 时刻的运动速度
• $a_t:$ 表示像素在 $t$ 时刻的加速度

2.1 quadratic flow prediction 模块

对于一般的运动，有如下的关系式：