PPON论文理解

Progressive Perception-Oriented Network for Single Image Super-Resolution 2019

github:https://github.com/Zheng222/PPON
问题
没说啥
办法

1. 感知图像超分辨率，通过构建分段网络逐步生成
2. 第一阶段集中于最小化像素误差，第二阶段利用前一阶段提取的特征来追求具有更好结构保留的结果，最后一个阶段采用第二阶段提取的精细结构特征来产生更真实的结果。
3. 该方法可以在前馈过程中有三个分支分别用于学习内容、结构和感知细节
4. 一种采用多尺度层次特征融合的新生成方法。

效果
尽可能地保持感知图像中的像素级和结构级信息。
具体来说

1. 两个基础模块：多尺度特征融合HFFB作为基础网络：利用不同速率的多个扩展卷积来开发丰富的多尺度信息
2. 基础模块：residual-in-residual fusion block (RRFB)
3. 为了克服以往感知驱动方法的局限性，采用了三个重构模块:内容重构模块(CRM)、结构重构模块(SRM)和照片现实重构模块(PRM)。CRM主要恢复全局信息，并像以前的面向psnr方法那样将逐像素错误最小化。SRM的目的是利用结构损失，在CRM结果的基础上保持良好的结构信息。PRM估计了真实图像和SRM输出之间的残差，有敌对和感知损失。输入自感知特征提取模块(PFEM)包含了丰富的与结构相关的特征，生成的感知图像是基于SRM的结果。
   为了实现快速培训，我们制定了循序渐进的培训模式，即:首先对基本模型(如图1所示)进行训练，然后冻结其参数并对序列进行训练SFEM和SRM。设计了一种有效的训练策略，即固定前一训练阶段的参数，利用训练模型产生的特征更新当前阶段的少量参数。通过这种方法，使面向感知模型的训练具有鲁棒性和快速性。

具体的，上面不懂啊
1.两个方向的网络：PSNR:该网络主要由内容特征提取模块(CFEM)和重构部分两部分组成：
第一部分为传统图像SR任务(追求高PSNR值)提取内容特征，
第二部分自然重构通过SR前端的特征来关联图像内容。
第一部分：内容特征提取模块(CFEM)和重构模块

CFEM：特征提取
CRM：特征重建

第二部分：渐进感知导向SR模型

Hsr:SRM
Hsfe:SFEM
渐进的感知导向网络的架构(PPON)。
CRM、SRM、PRM：内容重构模块、结构重构、感知重构
CFEM：内容特征提取模块
SFEM：结构特征提取模块，
PFEM：感知特征提取部分。
此外，⊕是元素级的求和算子。
其中HSR(·)和HSFE(·)表示SRM和SFEM分别计算。我们采用多尺度结构相似度指数(MS-SSIM)和多尺度L1作为损失函数对该分支进行优化。
1



2
Relativistic GAN



训练技巧：

RRFB结构的更多细节

该结构由多个层次特征融合块(HFFB)组成
与SR中常用的残差块不同，我们通过引入扩展卷积[24]的空间金字塔来增强残差块的表征能力。 为了获得有效的感受野，将不同扩张率核的特征图分层相加，然后将它们连接起来。


融合起来

实验

数据集：DIV2K + Flickr2k3000张
从HR图像中随机裁剪出尺寸为192×192的HR图像patch作为我们的模型的输入，并将mini-batch size设置为25。对3450张训练图像进行数据增强，分别为随机水平翻转和90度旋转。Set5， Set14 ， BSD100， Urban100 Manga109和PIRM。
PSNR, SSIM 、LPIPS、PI
ADAM optimizer