我在A4纸上看宫崎骏动画

杨净 发自 凹非寺
量子位 报道 | 公众号 QbitAI

随意弯曲、任意抖动，丝毫不影响我在纸上看《龙猫》。

这不是什么屏幕黑科技，而是AI合成的图像。

来自港中文-商汤联合实验室、浙江大学、英伟达的研究人员，用AI将图片视频投影到实时弯曲的纸面上，还更改图片的视角、光照条件。

AI可以在纸上放电影

那么具体是如何实现的呢？

简单来说，就是通过预测光流来替换视频中的图片。

以《星空》为例。

第一步，将这幅画打印在A4纸上，然后录制视频。在不同角度、光照、抖动情况下捕捉纸张，并从中提取帧。

第二步，也是最为关键的一步。

用LIFE单独预测《星空》在视频画面中的流动，然后将其替换成其他的图片or视频。

这里的LIFE，是研究人员提出的弱监督框架，该框架只需要将整个图像的相机姿势变换作为弱监督。

用这一框架来训练神经网络，来估计图像对之间的不变光流。

通过运动结构（Structure-from-Motion，SfM）技术，可以很容易地估计出视角变化大、光照变化大的图像对之间的相机姿势。

稀疏对应关系通常是通过特征匹配和指定图像来建立的。

然鹅，在跨图像特征匹配时候，指定图像会出现一些差错，阻碍了下游任务的进行。

下面这两个样本，就有种蹦迪的赶脚~

而用LIFE来指导特征匹配，利用图像对中丰富的上下文信息来解决模糊匹配的问题。

就如圆圈中特征点，正是LIFE预测下找到与原图像最匹配的点。

最终，LIFE在各种场景下，都分优于目前最先进的光流估计方法。

来具体看下实现效果~

比如，随意弯曲。

以及在不同视角的变换。

即便是在黑暗的场景下，也能清晰的看到图像。

好的，又蹦迪了！

感兴趣的旁友可戳下方链接了解更多细节哟~

论文链接：
https://arxiv.org/abs/2104.03097
参考链接：
https://drinkingcoder.github.io/publication/life/