图像压缩之《A GAN-based Tunable Image Compression System》

论文地址：https://arxiv.org/pdf/2001.06580.pdf

代码地址：暂未公布

摘要

基于重要性图(imporatnce map)结构来依据图像内容显著性来实现位分配(bit allocation)问题已经有不少研究了，目前，在低bpp下非重要性区域不充分的位分配导致图像严重失真，这也阻碍了基于内容加权的图像压缩方法。本文基于前者的基础上设计了一种新的重要性图结构以实现可微调的模型，在不用重新微调训练的情况下，可以得到不同bpp的模型，特别是针对低码率情况。实验证实了本文方法在bpp=0.5时，在Kodak数据集上MSSSIM指标比当下最新的方法高出10.3%。

本文的主要贡献

1. 针对GAN训练方法下的非重要性区域重构结果，作者发现非重要性区域的未分配严重的限制了在低bpp下基于内容的压缩算法的表现；

2. 不同于其他方法使用多个复杂网络来生成语义图与mask，作者使用一个简单的网络来识别图像中的重要区域并生成重要性图来引导未分配；

3. 与参考文献[20]不同的是，作者不只是在编码器中使用多尺度结构，在判别起中同样使用该结构。对于编码端和解码端中不同尺寸的目标，对称的多尺度结构更具有自适应性；

4. 作者提出了可调性的系统。作者通过一个超参数n而不是重新训练模型即可得到不同压缩率的模型。

作者提出的模型

模型结构