在本补充材料中,A部分说明了TTSR网络结构的细节。B部分提供了关于不同尺度上纹理转换器的附加分析。C节描述运行时间和参数个数的比较。最后,更多的可视化比较结果将在D部分显示。
网络结构细节
在本节中,我们将详细说明我们的方法TTSR的网络结构,TTSR的网络结构包括纹理转换器中的可学习纹理提取器,带有三个堆叠纹理转换器的生成器、鉴别器。可学习纹理提取器的结构如表A.1所示,其中$0、$3和$6层用于纹理转换器中纹理特征的搜索和传输。表A.2显示了生成器的详细信息,表A.3说明了标识符。
-
The structure of the learable texture extractor
-
The structure of the generator with three stacked texture transformers
-
The structure of the discriminator
不同尺度上的TT
我们提出的TTSR包含三个堆叠的TT。每个尺度下的TT融合了Ref图像中不同级别的HR纹理特征。在这里,我们进行了使用TT在不同尺度上的实验。因为CSFI是针对多尺度叠加纹理变换而设计的,这里的模型没有CSFI。结果见表B.1。TT的应用规模越大,性能越好,说明TT在更大的规模下细节丢失越少。当我们逐渐添加其他尺度的TT时,性能可以进一步提高。
运行时间和模型大小
在这一部分,我们讨论运行时间和模型大小。我们比较了TTSR与最先进的SISR和RefSR方法,RCAN [39], RSRGAN [38], CrossNet[43]和SRNTT[41]。对于运行时间,所有方法使用 Tesla V100 PCIe图形处理器,在83 × 125 × 3 上采样因子为4×的LR输入图像上进行测试。Table C.1展示了对比结果。具体来说,堆叠TT花费0.037秒和其他部分花费0.059s, TTSR总时间为0.096s。结果表明TTSR在相对较小的参数数量和较短的运行时间的基础上还有最好的表现。
更直观的比较
在本节中,我们展示了所提出的TTSR方法与其他SR方法的更多比较结果,包括RDN[40]、RCAN[39]、RSRGAN[38]、CrossNet[43]和SRNTT[41]。近年来,RCAN在PSNR和SSIM上都取得了最好的性能,RSRGAN被认为实现了最好的视觉质量。CrossNet和SRNTT是两种最先进的RefSR方法,显著优于以前的RefSR方法。CUFED5[41]、Sun80[26]、Urban100[11]和Manga109[20]的可视化对比结果如图所示。