DeepRFT的不同残差块个数对效率和速度的影响

论文名字：Deep Residual Fourier Transformation for Single Image Deblurring
该论文中的网络是在MIMO的基础上进行的改进，提出了一种带有卷积块的残差快速傅里叶变换的网络（Res FFT-Conv Block），网络的结构图如下所示：
作者对于网络主要改进了两个地方
1.在原有残差网络的基础上增加了一个分支结构，该分支带有傅里叶变换，能够同时关注高频信息和低频信息
2.把原来的卷积模块，非1*1卷积部分都换为Do-conv
详细请查看原文
最开始的想法是，这个网络虽然取得个很好的效果，但是是以牺牲大量的算力为代价，模型的推理速度大大降低了，所以这里考虑如何在接近实时性的情况下使效果尽可能的好，比如MIMO的效果不太好，但是推理速度小于0.008秒，速度太快造成算力冗余；该网络效果好，但是推理速度是0.3秒，距离实时性还有很长的距离，考虑如何在二者之间找平，目标是在尽可能接近实时的情况下（实时是0.03s左右），效果尽可能的好，进而取得速度和精度的平衡。
这里考虑的是在DeepRFT上进行改进，在网络精度不下降太多的情况下，使的速度尽可能的快，考虑了尝试不同的残差个数对速度和精度的影响：
残差模块的个数是8个结果如下：
PSNR最高是32.66，在GoPro测试集上的测试是32.35，average_time是0.3071

残差模块的个数是4个，结果如下：
PSNR最高是32.19，在GoPro测试集上的测试是31.92，average_time是0.3226

残差模块的个数是2个，结果如下：
PSNR最高是31.49，在GoPro测试集上的测试是31.19，average_time是0.3178

残差模块的个数是1个，结果如下：
PSNR最高是30.55，在GoPro测试集上的测试是30.25，average_time是0.3242

总结：（重要）
1.更改残差模块的个数并不能大幅度的提高推理速度，不管是1个残差模块还是8个残差模块，推理时间都在0.3秒以上，距离实时性有较大距离，感觉还是应该和引入的傅里叶变换和卷积块有关
2.残差模块为1时，PSNR是30.55；残差模块为8时，PSNR是32.66，但是都在30以上，改变残差模块的个数对效果影响还是挺大的
3.目前可以改进的方向有这么两个，在MIMO上进行改，因为这个速度快，努力提升效果；第二个方向是在DeepRFT上进行改进，因为这个效果好，考虑怎么让速度快起来。更应该倾向于改MIMO提高效果，因为MIMO在结果相差不大的情况下，速度确实太快了，小于0.008秒