TGRS 2023 | 轻量级多分辨率特征融合网络(MRFN)

MRFN：Lightweight Multiresolution Feature Fusion Network for Spectral Super-Resolution

IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING, VOL. 61, 2023

本文的主要贡献如下。

 1）提出了一种多分辨率特征提取和融合框架，用于从 RGB 输入重建 HSI，其中通过 PixelUnshuffle 策略将输入设计为原始 RGB 图像的多分辨率版本。 这种结构using a spatial → spectral information transformation优雅地融合了不同尺度的特征，不仅在整个重建过程中保持了原始图像的空间分辨率，而且实现了多个光谱分辨率子结构的并行推理。 

  2）构建了一种新颖的LFEM进行特征提取，在保持较小网络计算量的前提下保证较强的特征提取能力。 具体来说，使用线性运算来扩展廉价卷积的特征图以替换大量卷积。 此外，还提出了轻量级通道注意（LCA），用一维卷积代替原来的两个全连接层，以进一步减少内存占用和计算复杂度，并突出感兴趣的通道进行谱重建。

 3）通过集成光谱连续性、光谱保真度和几何距离误差来设计混合损失函数，通过该函数可以约束重建在空间和光谱维度上具有高保真度。 

4）在三个基准数据集（即CAVE、ICVL和NTIRE2022数据集）上进行了大量的实验，以证明我们提出的MRFN方法的有效性，该方法以较低的计算占用实现了有竞争力的SR能力。

相当于实现了空间→光谱信息的变换。

1）LFEM

首先堆叠三层卷积+ReLU，采用Cheap Conv。由于轻量级网络的深度和参数均小于常规光谱SR网络，可能直接导致网络的特征提取能力不足，重建图像的纹理细节较差，甚至出现不同程度的光谱失真。 因此，在 LFEM 中进一步设计了 LCA 和空间注意（SA）机制，以强调谱重建感兴趣的特征

在所提出的 LFEM 中，由于以下三重优点，采用了三个尺寸为 3 × 3 的奇数小卷积核。 首先，奇数卷积核可以在保留中心像素的同时提取中心周围像素的特征，从而增强了图像的空间相关性。 其次，较小的卷积核可以通过多层叠加获得较大的感受野，同时需要较少的参数和较低的计算占用。 第三，使用多个小卷积核代替大卷积核可以给网络产生更多的非线性激活层，增强非线性表达能力，进一步获得更好的学习特征。

2) Cheap Convolution:

GhostNet 解读及代码实验（附代码、超参、日志和预训练模型） - 知乎 (zhihu.com)（Ghost Net、GhostNet-V2）

廉价卷积：最近的研究发现，传统卷积生成的丰富特征通常是冗余的[47]。 因此，提出了廉价的卷积，利用有限数量的卷积的线性变换来生成丰富的特征图。 如图 4 所示，廉价卷积生成的特征图包含使用传统卷积提取的特征的恒等映射和线性映射。 因此，仅使用有限数量的卷积核就可以获得丰富的特征图，从而可以大大避免大量的参数和计算。 请注意，在如此廉价的卷积中存在许多线性运算，例如旋转、平移、仿射变换和小波变换。 在本文中，采用深度可分离卷积来实现 GhostNet [47] 中的线性映射。

联合的loss：

混合损失函数，该函数主要由三部分组成：数值域中基于 L1 的距离损失、连续性损失 ，以及光谱维度中基于光谱角距离 (SAD) 的保真度损失。

光谱重建测量在RGB图像的光谱SR中具有重要意义。 由于HSI中各波段的光谱成像范围比RGB图像窄，因此每个像素不仅包含空间信息，而且在光谱维度上表现出连续性。 因此，提出了光谱连续性损失来抑制谱域中各向量的跳跃现象，使得相邻频带的光谱特征更加相似：

为了保证重建的HSI的光谱保真度，将每个像素的光谱视为一个高维向量，并通过计算其与参考HSI之间的SAD来进一步衡量光谱相似度：

【评价指标：光谱角距离（SAD）、光谱信息发散度（SID）】