SRNTT:Image Super-Resolution by Neural Texture Transfer

最新推荐文章于 2024-05-25 10:00:53 发布

原创

最新推荐文章于 2024-05-25 10:00:53 发布 · 5.7k 阅读

18 ·

CC 4.0 BY-SA版权

本文提出了一种名为SRNTT的新方法，通过神经纹理转移改进图像超分辨率。针对传统单图像超分辨率（SISR）的限制，SRNTT引入参考图像（RefSR）学习多层次信息，提高超分辨率效果。文章介绍了特征交换和神经纹理转移的流程，以及训练目标函数的设定。此外，建立了一个新的数据集CUFED5，用于研究不同相似度级别的RefSR。实验结果表明，SRNTT在保留空间结构、改善视觉效果和利用纹理信息方面表现出优越性。

Image Super-Resolution by Neural Texture Transfer

Zhifei Zhang,Zhaowen Wang,Zhe Lin,Hairong Qi

CVPR2019

摘要

之前提出的RefSR的方法虽然很有潜力，但是存在一些问题，一旦RefSR与LR不够相似的时候超分辨率的结果就很差。论文为了充分发挥RefSR的作用。不仅只学习RefSR的像素级的文本信息还同时学习多个层次的信息。

主要贡献

论文学会用RefSR的思想，打破了SISR的束缚。（其实就是不再单纯地学习HR和LR的映射，而是引入RefSR）
论文提出了SRNTT，可以得到更好的超分辨率效果。
论文建立了一个新的数据集，CUFED5，对LR有不同相似程度的RefSR，用来进行进一步探索。

主要方法

网络结构如上图。

特征交换

特征交换这一部的主要工作就是在Ref中找到与LR最接近的块，然后替换掉LR中的块。这就涉及两个步骤(1)如何计算相似度(2)如何交换对应块。

（１）如何计算相似度

论文提出的方法不是计算整个图的相似度，而是分块计算。这里因为LR和Ref的大小不同，先对LR用bicubic进行上采样使LR和Ref具有相同的大小，而同时考虑到二者的分辨率不同，对Ref用bicubic进行下采样再上采样，使得 $I^{ref\downarrow \uparrow}$ 的模糊程度跟 $I^{LR\uparrow}$ 接近。