高通CVPR神研究：视频处理计算量降低78%，教卷积层自己“挑像素”，卡成PPT的视频纵享丝滑...

萧箫 发自 凹非寺
量子位 报道 | 公众号 QbitAI

图像领域，已经限制不住AI算法大牛们的身手了。

现在，随着视频产业火热发展，相关算法也正成为计算机视觉研究的新潮流。

毕竟日常生活中，无论是视频通话、还是网课直播，都涉及大量的视频处理算法。

但如果这些算法性能不高的话，视频就会出现卡顿、降低分辨率的情况，体验极差。

（想象视频通话时，画面卡成PPT的情况，已经开始生气了……）

因此，降低视频算法计算量，一直是国内外AI视觉算法大牛们致力研究的问题。

最近有两篇CVPR 2021的论文，就引起了视频圈的不少关注。

它们教算法模型学会了自己“省算力”，将视频处理算法的计算效率提升了几倍不止，性能也并不下降！

教AI自己省算力，计算量-78%

用卷积神经网络处理视频，其实是一个计算量巨大的任务。

这里的“计算量”并非指视频大小，而是卷积处理图像的方式——将图像完整地“扫”一遍。

但真正的视频，往往存在大量变化不大的场景（甚至10帧内只有一只手在动）：

这种情况下，如果还将每个像素都处理一遍……仿佛已经感受到GPU在燃烧了。

那么，能否教AI学会高效“偷懒”，不浪费任何多余的算力呢？

当然可以，而且有2种方法。