基于扩散模型的高光谱图像恢复：LatentHSI潜在空间建模思路

关注

原创最新推荐文章于 2026-11-13 18:12:14 发布 293 阅读 AI 写同款· GEO 优化 ›

《图像处理与计算机视觉》全套课件PDF（武汉工程大学）获取《图像处理与计算机视觉》全套课件PDF（武汉工程大学）：：https://download.youkuaiyun.com/download/m0_54748666/93260852。《图像处理与计算机视觉》全套课件PDF（武汉工程大学）第二讲-图像及其表达与性质.pdf。第五讲-图像形态学变换.pdf。第四讲-图像数据压缩.pdf。第三讲-图像预处理.pdf。第六讲-图像分割.pdf。第七讲-目标识别.pdf。第一讲-导论.pdf。阅读详情

论文题目：LatentHSI: Restore hyperspectral images in a latent space
作者：Jin Cao, Xiangyu Rui, Li Pang, Deyu Meng, Xiangyong Cao
期刊：Information Fusion
年份：2025
DOI：10.1016/j.inffus.2024.102848
关键词：HSI恢复、Latent扩散、无监督

一、研究背景

高光谱图像（Hyperspectral Image, HSI）通常包含几十到上百个连续光谱波段，相比 RGB 图像具有更丰富的光谱信息，因此在遥感、农业、矿物检测等场景中具有重要应用价值。但这类图像在采集过程中容易受到噪声、低分辨率、空间细节缺失等退化影响，因此 HSI 恢复是一个重要问题。困难在于，HSI数据维度高、波段间相关性强，直接在原始高维空间中建模和优化都比较困难。

扩散模型近年来在图像生成和图像恢复任务中表现突出，其优势在于能够学习复杂数据分布，并通过反向采样过程为恢复任务提供生成先验。因此，将扩散模型引入HSI恢复是一个自然思路。不过，HSI与普通RGB图像不同：

一方面，其光谱维度远高于三通道图像，直接在完整HSI空间中训练和采样扩散模型会带来较高计算开销；
另一方面，HSI恢复通常缺少成对的退化/干净训练样本，且恢复结果还需要保持空间细节和光谱一致性。

这些都增加了扩散模型应用到HSI领域的难度。

近期一些工作已经尝试将扩散模型用于HSI恢复。例如，部分方法利用扩散模型作为HSI先验，并将恢复过程放到低维子空间中进行，以降低高维HSI建模难度。其中，PLRDiff和HIRDiff这类方法会选取少量波段构成三通道子空间，再利用扩散模型完成恢复；DDS2M则从退化HSI本身出发训练扩散模型，用于自监督恢复。这些方法说明扩散模型在HSI恢复中具有潜力，但也暴露出一个关键问题：如何构造一个既足够低维、又尽量保留HSI光谱信息的恢复空间。

二、问题切入

LatentHSI 的切入点正是这个“恢复空间”的设计。它并不是直接在原始 HSI 空间中做扩散，也不是只选取少数几个波段构成简单子空间，而是先利用 HSI 的低秩特性，将图像表示为低维表示和系数矩阵的组合；随后用 VAE 为降维表示学习一个连续、平滑的latent空间，并在该潜在空间中训练扩散模型。恢复时，扩散模型提供latent先验，函数将观测退化图像和退化模型引入采样过程，最后再通过Adam对结果进行修正。这样做的核心意义在于：LatentHSI 将高维HSI恢复问题转移到一个专门为HSI降维表示学习得到的latent空间中，从而在降低建模难度的同时，避免简单三波段子空间带来的光谱信息损失。

三、具体设计

LatentHSI的整体框架可以分为四个主要步骤：低秩分解、VAE潜空间构建、潜空间扩散采样，以及基于观测图像的引导修正。

整体流程可以简化表示为:

退化 HSI
↓
估计降维表示与系数矩阵
↓
VAE 映射到latent空间
↓
Latent扩散指导采样
↓
Adam修正
↓
恢复后的 HSI

3.1 低秩分解

论文首先利用高光谱图像在光谱维度上的低秩特性，将原始 HSI 表示为一个降维表示和一个系数矩阵的组合：

$\mathcal{X} \approx \mathcal{A} \times_3 E$

其中， $\mathcal{X}$ 表示原始高光谱图像， $\mathcal{A}$ 是降维表示，E 表示系数矩阵， $\times_3$ 表示沿光谱维度的矩阵乘法。

这一步的作用是将原始HSI从完整的高维波段空间中拆解出来，后续主要围绕 $\mathcal{A}$ 构建潜在空间。这样可以避免直接在原始高维HSI空间中建模，同时也能通过系数矩阵E重建完整波段信息。

在实际恢复时，模型观察到的是退化图像 $\mathcal{Y}$ ，因此需要先从退化 HSI 中估计降维表示 $\tilde{\mathcal{A}}$ 和系数矩阵 E。论文中通过最小二乘形式估计 E：

$E = \arg\min_E \left\|\mathcal{Y} - \tilde{\mathcal{A}} \times_3 E \right\|_F^2$

可以把这一步理解为：先从退化观测中估计出一个用于重建完整HSI的光谱映射关系，为后续在 latent空间中恢复图像做准备。

3.2 VAE：构建连续平滑的HSI潜在空间

得到降维表示 $\mathcal{A}$ 后，作者使用VAE将其映射到latent空间：

$z = \mathcal{E}(\mathcal{A})$

其中， $\mathcal{E}$ 表示VAE的编码器，z是latent表示。随后，解码器 $\mathcal{D}_{dec}$ 可以从z重建降维表示：

$\hat{\mathcal{A}} = \mathcal{D}_{dec}(z)$

VAE的训练目标包括重建误差和KL正则项：

$\mathcal{L}_{VAE} = \beta KL(\mathcal{E}(\mathcal{A}) \| p(z)) + \left\| \mathcal{A} - \mathcal{D}_{dec}(\mathcal{E}(\mathcal{A})) \right\|_F^2$

这里的p(z)通常设为标准高斯分布。KL项用于约束 latent space 的分布，重建项用于保证从latent空间解码后仍能保留原始降维表示的信息。

VAE 在 LatentHSI 中的作用不是单纯“生成图像”，而是构建一个适合恢复任务的潜在空间。相比直接在像素空间或简单选波段子空间中优化，VAE 学到的 latent space 更低维，也更适合后续的扩散采样和梯度引导。

3.3 Latent扩散模型训练

在构建好latent空间后，LatentHSI在该空间中训练扩散模型。扩散模型的作用是学习latent表示的数据分布，为后续恢复提供生成先验。

恢复阶段的目标可以理解为：在观测退化图像 $\mathcal{Y}$ 的约束下，从条件分布 $p(z|\mathcal{Y})$ 中寻找合适的latent表示。得到 z 后，再通过解码器和系数矩阵恢复完整 HSI：

$\hat{\mathcal{X}} = \mathcal{D}_{dec}(z) \times_3 E$

这里的重点是，扩散模型不是直接在完整 HSI 空间中采样，而是在 VAE 构建出的latent空间中采样。这降低了高维 HSI 恢复的建模难度，也使扩散模型更容易学习有效的先验分布。

3.4 引导函数

仅依靠扩散模型采样还不够，因为恢复结果必须满足观测图像的约束。为此，论文设计了引导函数来引导采样过程：

$\mathcal{L}\left(z, \mathcal{Y}, E, D, \mathcal{D}_{dec}\right) = \eta_1 \left\| D\left( \mathcal{D}_{dec}(z) \times_3 E \right) - \mathcal{Y} \right\|_F^2 +\eta_2 \left\| \mathcal{D}_{dec}(z) \times_3 E \right\|_{TV}$

其中，D表示退化算子，第一项是数据一致性项，用于保证恢复结果经过退化后能够接近观测图像；第二项是TV正则，用于抑制噪声并保持图像空间结构。

在 DDIM 采样过程中，论文将guidance的梯度加入到噪声预测中：

$\tilde{\epsilon}_\theta(z_t,t) = \epsilon_\theta(z_t,t) - s(t) \nabla_{\hat{z}_0} \mathcal{L}(\hat{z}_0,\mathcal{Y},E,D,\mathcal{D}_{dec})$

这一设计使扩散采样不仅受到 latent先验的约束，也受到具体恢复任务的观测约束。

不过，加入引导后可能会导致采样分布偏移，使DDIM过程中的误差累积。为此，论文在采样结束后增加了一个Adam修正步骤，继续优化最终的 $z_0$ 。最终恢复图像由解码器和系数矩阵共同得到：

$\hat{\mathcal{X}} = \mathcal{D}_{dec}(z_0) \times_3$

这一修正步骤可以看作对采样结果的进一步修正，使最终结果更符合退化观测和恢复任务约束。

四、实验设计

论文在多个 HSI 恢复任务上验证了 LatentHSI，包括 pansharpening、denoising 和 noisy HSI super-resolution。实验使用了多个高光谱数据集，例如 Chikusei、Houston、PaviaC 等，并采用 PSNR、SSIM、RMSE、ERGAS、SAM 等指标进行评价。

对比实验结果表明，LatentHSI 在三类恢复任务中均表现出优异性能，相比传统模型方法、经典深度学习无监督方法以及同类型基于扩散模型的算法，该方法能够更好地还原图像空间细节与光谱信息，综合表现具备明显优势。

除了主实验，论文还进行了多组消融实验，用于验证各模块的作用。

扩散模型模块消融：移除latent扩散步骤，仅基于VAE latent空间与基础解码重建进行恢复，验证扩散模型在细节增强与噪声抑制中的关键作用。
Latent 空间消融：用原始空间、等间隔三波段子空间或RRQR构造的低秩子空间代替latent空间，保持其他步骤不变，对比不同表征空间下引导优化的有效性。
引导函数（Guidance Function）消融：分别移除数据保真项与TV正则项，验证两者在退化约束与细节平滑中的协同作用。
最终校正（Final Correction）消融：对比 “仅DDIM采样” 与 “DDIM采样 + Adam迭代校正” 的结果，验证校正步骤对重建误差的修正能力。

实验结果表明，扩散模型、隐空间、引导函数以及最终校正模块均对最终恢复质量有显著贡献。去掉扩散模型后，全色锐化任务的性能出现了明显下降；相较于其他空间，隐空间更容易通过梯度引导获得稳定且有效的优化方向；引导函数中的保真项与全变分正则项均对恢复效果带来了实际增益；而最终校正步骤则进一步修正了采样过程中产生的误差，有效提升了重建图像的细节精度。

五、总结

LatentHSI 的创新核心，并非简单将扩散模型迁移至高光谱图像恢复任务，而是重新定义图像恢复的运行空间。高光谱图像属于典型高维数据，直接在原始像素空间建模优化难度大、计算成本高；而传统方法构造的简易低维子空间，又极易丢失关键光谱信息。该方法结合高光谱图像天然的低秩特性，通过张量分解将原始图像拆解为降维表示（reduced representation）与系数矩阵（coefficient matrix），再借助变分自编码器（VAE）构建连续平滑的专属隐空间，在高维原始空间与简易子空间之间实现了平衡。

结合实验结果与模型原理分析，该方法仍存在两处明显短板：

第一，受 VAE 自身特性限制，其构建的隐空间会对重建图像造成一定程度的模糊，在对图像边缘、细节要求严苛的场景中，会轻微影响部分评价指标，限制模型性能上限。
第二，模型依赖较多人工设置的超参数，包括隐空间尺寸、引导强度、TV 正则权重、校正迭代次数以及选取波段数等。论文虽给出了通用最优配置，但面对不同数据集、不同退化程度的图像时，往往需要手动调参，一定程度上降低了方法的落地效率与通用性。

整体而言，LatentHSI 提出了一套完整且逻辑清晰的 “隐空间 + 扩散模型” 无监督高光谱图像恢复框架，为高维遥感图像的修复研究提供了全新思路，具备较好的学习与参考价值。