Content Adaptive and Error Propagation Aware Deep Video Compression 个人理解

文献地址：https://arxiv.org/abs/2003.11282。

该文是ECCV2020 oral。

目录

一、概述

二、本文贡献

三、论文思想

四、实验

五、结论

六、我的一些想法

 

---

一、概述

该文章基于深度学习的端到端视频编解码框框架DVC（https://blog.youkuaiyun.com/cs_softwore/article/details/87006743）的后续研究，同样出自DVC的研究团队，主要为了解决基于学习的视频编解码的错误传播和视频内容自适应问题。错误传播的问题通过在训练阶段考虑连续多帧的压缩来解决，是一个训练策略的改进；本文提出的内容自适应方案，可以根据视频内容在线更新编码器，区别于传统的手工编码模式。

二、本文贡献

1、提出EPA(error propagation aware，错误传播感知)训练机制；

2、在线更新策略，可以使解码器在推理阶段对视频内容自适应；

3、不增加解码端的模型复杂度和计算时间，且相对于其它基于学习的方法，还能达到state-of-the-art编解码效果。

三、论文思想

1、动机

（1）错误传播。由于帧间预测的原因，当前帧编解码依赖前一个解码帧，在一个GOP内，随着时间的推移，误差会逐渐累计，传统算法和基于学习的方法都会遇到错误扩散的问题。

                               

（2）内容自适应。传统方法为了能够达到最佳压缩，在图像平滑区域采用大的块，在内容复杂（纹理丰富）的区域采用较小的块；基于学习的方法，在训练阶段通过优化率失真（rate-distortion optimizat