22、多光谱遥感影像超分辨率处理技术解析

多光谱遥感影像超分辨率处理技术解析

1. 任意位移与像素数量缩减

在影像处理中，影像位移并非总是小于像素尺寸。假设 $\Delta y_{int}$ 和 $\Delta x_{int}$ 分别是最接近 $\Delta y$ 和 $\Delta x$ 的整数，剩余部分记为 $\Delta y_{frac}$ 和 $\Delta x_{frac}$，即：
$\Delta y = \Delta y_{int} + \Delta y_{frac}$，其中 $-0.5 \leq \Delta y_{frac} \leq 0.5$；
$\Delta x = \Delta x_{int} + \Delta x_{frac}$，其中 $-0.5 \leq \Delta x_{frac} \leq 0.5$。

此时，传递函数是整数位移算子和位移模糊算子的叠加。整数位移的传递函数为：
$T_{int}(\eta, \xi) = \exp\left(2\pi i\left(\frac{\eta\Delta y_{int}}{m} + \frac{\xi\Delta x_{int}}{n}\right)\right)$

亚像素位移的传递函数可由相关公式得出，总传递函数为：
$T(\eta, \xi) = e^{2\pi i\eta\Delta y_{int}/m}\left[\left(0.5 - \Delta y_{frac}\right)e^{-2\pi i\eta/m} + 1 + \left(0.5 - \Delta y_{frac}\right)e^{2\pi i\eta/m}\right] \times e^{2\pi i\xi\Delta x_{int}/n}\left[\left(0.5 - \Delta x_{frac}\right)e^{-2\pi i\xi/n} + 1 + \left(0.5 - \Delta x_{frac}\right)e^{2\pi i\xi/n}\right]$

低分辨率影像的网格在每个方向上的密度是高分辨率影像的一半。要创建半尺寸的低分辨率影像，需进行像素数量缩减。设 $X = {X(y, x), y = 0, 2m - 1, x = 0, 2n - 1}$ 是一个 $2m \times 2n$ 的影像，$Y$ 是一个 $m \times n$ 尺寸的影像，其像素来自 $X$，且两个影像的坐标均为偶数，则：
$Y(y, x) = X(2y, 2x)$，其中 $0 \leq y \leq m$，$0 \leq x \leq n$。

影像 $X$ 和 $Y$ 的傅里叶变换关系如下：
$4\hat{Y}(\eta, \xi) = \hat{X}(\eta, \xi) + \hat{X}(\eta \pm m, \xi) + \hat{X}(\eta, \xi \pm n) + \hat{X}(\eta \pm m, \xi \pm n)$

2. 带先验数据的线性回归模型

解决了逆问题后，可解决正问题。设低分辨率影像尺寸为 $m \times n$，高分辨率影像尺寸为 $2m \times 2n$，$K$ 为低分辨率影像的数量，$\hat{Y}_k$（$k = 1, K$）为低分辨率影像的傅里叶变换，$\hat{X}$ 为未观测到的高分辨率影像的傅里叶变换。

假设低分辨率影像是通过位移模糊算子（传递函数见前文）、像素数量缩减和添加误差从高分辨率影像得到的。在频域中，第 $k$ 个观测影像的傅里叶变换为：
$4\hat{Y}_k = T_k(\eta, \xi)\hat{X}(\eta, \xi) + T_k(\eta \pm m, \xi)\hat{X}(\eta \pm m, \xi) + T_k(\eta, \xi \pm n)\hat{X}(\eta, \xi \pm n) + T_k(\eta \pm m, \xi \pm n)\hat{X}(\eta \pm m, \xi \pm n) + 4\hat{E}_k(\eta, \xi)$

其中，$T_k$ 是第 $k$ 个观测影像的模糊位移算子的光学传递函数，$\hat{E}_k(\eta, \xi)$ 是第 $k$ 个观测影像误差的傅里叶变换。误差的均值为零，方差为 $\gamma_E(\eta, \xi)$，即：
$E[\hat{E}_k(\eta, \xi)] = 0$，$E|\hat{E}_k(\eta, \xi)|^2 = \gamma_E(\eta, \xi)$

同时，$\hat{X}(\eta, \xi)$ 有先验均值 $\hat{X} {pri}(\eta, \xi)$ 和方差 $\gamma_X(\eta, \xi)$，即：
$E[\hat{X}(\eta, \xi)] = \hat{X} {pri}(\eta, \xi)$，$E\left|\hat{X}(\eta, \xi) - \hat{X}_{pri}(\eta, \xi)\right|^2 = \gamma_X(\eta, \xi)$

这里，$\gamma_E$ 是误差的谱密度，$\hat{X} {pri}$ 是先验 $X {pri}$ 的傅里叶变换，$\gamma_X$ 是 $X - X_{pri}$ 的谱密度。$\gamma_X$ 假设为 $K$ 个输入低分辨率影像的平均谱密度，$\gamma_E$ 假设为 $K$ 个输入低分辨率影像的平均成对差异。新开发的影像超分辨率算法流程如下：

graph LR
    A[输入数据] --> B[评估输入影像的位移]
    B --> C{位移 > 像素?}
    C -- 是 --> D[以整数精度裁剪影像]
    C -- 否 --> E[评估γX、γY和传递函数]
    D --> E
    E --> F[分辨率增强]
    F --> G[影像滤波]
    G --> H[逆傅里叶变换]

3. 卷积神经网络的应用

人工智能在影像处理、改善和分析领域有着广泛应用。基于神经网络的方法能模拟人类修图师的工作，卷积神经网络（CNN）在影像恢复和改善方面表现出色。

CNN 可分为多种类型，如线性 CNN、残差 CNN、递归 CNN、密集连接 CNN、基于注意力的 CNN、生成对抗 CNN 等。它们在许多参数和结构上存在差异，训练的主要关注点是视觉感知质量，因为训练影像由人类专家评估。

在遥感应用中，CNN 可显著提高卫星影像视觉解释的效率。然而，将现有的 CNN 应用于卫星影像并非总是可行和可取的。主要原因包括：
- 适合训练的卫星影像数量相对通用影像较少。
- 分析和改善卫星影像的网络训练时间较长。
- 卫星影像拍摄时间不同，影像变化可能在训练和运行过程中引入误差。
- 卫星影像的空间分辨率、噪声类型、对比度等特征差异较大，CNN 通常难以对不同空间分辨率的影像都有出色表现。
- 处理大量的空间影像需要大量资源。

在本研究中，采用了 SRCNN 对高空间分辨率影像进行最终改善。

4. 实际分辨率评估

基于调制传递函数（MTF）的无参考方法可用于评估数字影像的实际分辨率。MTF 是影像脉冲响应 $h(x, y)$ 的傅里叶变换的绝对值：
$T(\xi, \eta) = \left|\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}h(x, y) \cdot e^{-2\pi i\xi x} \cdot e^{-2\pi i\eta y} dx dy\right|$

其中，$\xi$ 和 $\eta$ 是与影像 $x$ 和 $y$ 空间维度对应的空间频率。在光学科学中，系统的脉冲响应也称为点扩散函数（PSF）。

有多种方法可直接通过数字影像评估 MTF，如使用特殊测试目标（分辨率图表）、亮点影像（可视为 PSF）、窄线影像、影像中对比度边缘的阶跃响应（边缘扩散函数 ESF）等。其中，基于 ESF 的方法因测量后可获得更多统计信息而更受青睐。

本研究考虑了 MTF 的高斯近似。假设影像的双向 PSF 由以下形式的高斯函数描述：
$h(x, y) = \frac{1}{2\pi \cdot \sigma \cdot \varsigma} \cdot e^{-\frac{x^2}{2\sigma^2}} \cdot e^{-\frac{y^2}{2\varsigma^2}}$

其中，$\sigma$ 和 $\varsigma$ 是沿空间轴 $x$ 和 $y$ 的高斯函数参数。此时，双向 MTF 的形式为：
$T(\xi, \eta) = e^{-2\pi^2 \cdot \sigma^2 \cdot \xi^2} \cdot e^{-2\pi^2 \cdot \varsigma^2 \cdot \eta^2}$

影像的实际空间分辨率 $r$ 可根据预定义的调制阈值 $T^ $ 由 MTF 确定，即由对应调制阈值 $T^ $ 的空间频率 $\xi^ $ 确定：
$r \equiv \frac{1}{\xi^ }$

$r$ 值可用于客观比较卫星影像分辨率增强的结果。

5. 实验结果

以 Sentinel - 2A 卫星多光谱影像的可见光波段为例，展示了所提出方法的空间分辨率增强效果。具体处理流程如下：
1. 将原始影像的光谱波段转换为一个联合光谱波段。
2. 对统一后的影像集进行超分辨率处理，估计影像间的相互亚像素位移并运行相关算法。
3. 将原始多光谱卫星影像的任意数量光谱波段（RGB 1x）通过波段转换为一组具有联合光谱波段的全色影像（Pan 1x）。
4. 执行超分辨率程序，从多个亚像素位移的全色影像中形成一个增强分辨率的全色影像（Pan 2x）。
5. 基于增强分辨率的全色影像和原始（未转换）的 RGB 1x 影像的光谱波段进行标准的全色锐化，得到 RGB 2x 多光谱影像。
6. 使用卷积神经网络（CNN）对影像质量进行微调，得到最终影像（Enhanced RGB）。

对处理前后的影像进行实际分辨率评估，采用高斯近似的 MTF，提取影像的 ESF 以获得双向 MTF。由于影像处理结果有垂直分辨率 $r_x$ 和水平分辨率 $r_y$ 两个估计值，因此使用几何平均值作为分辨率的一般各向异性估计：
$r = \sqrt{r_x \cdot r_y}$

实验结果如下表所示：
| 测试影像 | 高斯函数参数 $\sigma$（像素） | 分辨率 $r$（像素，$T^* = 0.25$） |
| ---- | ---- | ---- |
| 图 6a（RGB 1×） | 0.791 | 2.983 |
| 图 6d（RGB 2×） | 0.844 | 3.185 |
| 图 6e（RGB 增强） | 0.331 | 1.246 |

亚像素处理和后续全色锐化后影像像素分辨率略有下降，这是由于输出影像尺寸翻倍导致的。最终的 CNN 处理进一步提高了分辨率，接近直接获取的卫星影像的极限。

综上所述，所提出的多光谱影像空间分辨率增强技术在输入数据中缺乏全色影像的情况下表现出较高的效率。波段转换方法不仅能恢复具有增强空间分辨率的影像，还能保持结果影像的辐射正确性。超分辨率方法本身可使实际空间分辨率提高 46.6%，终端 CNN 的应用进一步显著改善了分辨率。未来的发展方向包括改进波段转换方法，特别是采用光谱分类代替线性插值来提高结果数据信号的近似精度，以及对 CNN 进行特殊调整以适应遥感影像处理。

多光谱遥感影像超分辨率处理技术解析

6. 技术优势总结

多光谱遥感影像超分辨率处理技术在多个方面展现出显著优势，以下是详细总结：
- 分辨率提升显著 ：超分辨率方法本身可实现实际空间分辨率 46.6% 的提升，终端 CNN 的应用进一步增强了分辨率，使处理后的影像更接近直接获取的卫星影像的最优水平。
- 适用性广泛 ：在输入数据中缺乏全色影像的情况下，该技术依然能有效工作，波段转换方法确保了即使没有全色影像，也能恢复具有增强空间分辨率的影像。
- 辐射正确性保障 ：波段转换方法不仅致力于提升空间分辨率，还注重保持结果影像的辐射正确性，使得影像在视觉和分析层面都更具价值。

7. 未来发展方向

尽管当前的多光谱遥感影像超分辨率处理技术已经取得了一定的成果，但仍有多个方面需要进一步发展和完善，以下是未来的主要发展方向：
- 波段转换方法改进 ：目前的波段转换方法可以进一步优化，特别是在结果数据信号的近似方法上，采用光谱分类代替线性插值是一个可行的方向。光谱分类能够更准确地描述和处理影像的光谱信息，从而提高波段转换的精度和效果。
- CNN 特殊适配 ：CNN 在遥感影像处理中具有巨大潜力，但目前在应用于卫星影像时存在一些挑战。未来需要对 CNN 进行特殊调整，使其能够更好地适应遥感影像的特点，如不同的空间分辨率、噪声类型和对比度等。这可能涉及到网络结构的优化、训练数据的选择和处理等方面。
- 数据利用效率提升 ：随着卫星影像数据量的不断增加，如何高效地利用这些数据进行训练和处理是一个重要问题。未来的研究可以探索更有效的数据利用方法，减少训练时间和资源消耗，提高处理效率。

8. 技术应用前景

多光谱遥感影像超分辨率处理技术在多个领域具有广阔的应用前景，以下是一些主要的应用领域：
- 农业领域 ：高分辨率的多光谱影像可以更清晰地监测农作物的生长状况、病虫害情况等，为精准农业提供有力支持。通过分析影像中的光谱信息，可以及时发现农作物的异常情况，并采取相应的措施进行处理。
- 环境监测 ：在环境监测方面，该技术可以用于监测土地利用变化、森林覆盖情况、水体污染等。高分辨率的影像能够更准确地识别和分析环境变化，为环境保护和管理提供决策依据。
- 城市规划 ：对于城市规划来说，高分辨率的多光谱影像可以提供详细的城市地形、建筑分布等信息。这些信息有助于城市规划者更好地进行城市布局、交通规划等工作，提高城市的可持续发展能力。

9. 总结与展望

多光谱遥感影像超分辨率处理技术是一项具有重要意义和广阔前景的技术。通过波段转换、超分辨率处理和 CNN 等方法的结合，能够有效提升影像的空间分辨率和质量，为多个领域的应用提供有力支持。

然而，该技术仍面临一些挑战，如 CNN 在卫星影像处理中的适应性问题、数据利用效率问题等。未来需要在波段转换方法、CNN 适配和数据利用等方面进行深入研究和改进，以进一步提高技术的性能和应用效果。

随着技术的不断发展和完善，多光谱遥感影像超分辨率处理技术有望在更多领域得到广泛应用，为人类的生产生活带来更多的便利和价值。

graph LR
    A[多光谱遥感影像超分辨率处理技术] --> B[技术优势]
    A --> C[未来发展方向]
    A --> D[应用前景]
    B --> B1[分辨率提升显著]
    B --> B2[适用性广泛]
    B --> B3[辐射正确性保障]
    C --> C1[波段转换方法改进]
    C --> C2[CNN 特殊适配]
    C --> C3[数据利用效率提升]
    D --> D1[农业领域]
    D --> D2[环境监测]
    D --> D3[城市规划]

以下是技术优势、未来发展方向和应用前景的对比表格：
| 类别 | 具体内容 |
| ---- | ---- |
| 技术优势 | 分辨率提升显著、适用性广泛、辐射正确性保障 |
| 未来发展方向 | 波段转换方法改进、CNN 特殊适配、数据利用效率提升 |
| 应用前景 | 农业领域、环境监测、城市规划 |