混合卷积和注意力网络用于高光谱图像去噪

转载于 2025-09-08 15:11:16 发布 · 201 阅读

2 ·

CC 4.0 BY-SA版权

原文链接：https://blog.youkuaiyun.com/zzzyyy8/article/details/144014292

文章标签：

#高光谱图像去噪 #卷积神经网络 #注意力机制

遥感图像专栏收录该内容

7 篇文章

订阅专栏

论文题目：Hybrid Convolutional and Attention Network for Hyperspectral Image Denoising_translated

作者：Shuai Hu; Feng Gao; Xiaowei Zhou; Junyu Dong; Qian Du

论文来源：Hybrid Convolutional and Attention Network for Hyperspectral Image Denoising | IEEE Journals & Magazine | IEEE Xplore

代码地址：https://github.com/summitgao/HCANet

1. 为什么要关心高光谱图像去噪？

高光谱图像（Hyperspectral Image, HSI）具有数百个光谱波段，能精确刻画物体的光谱特征，因此在 遥感监测、农业植被分析、环境评估、军事侦察 等领域被广泛应用。然而，受传感器精度、环境光照、传输噪声等影响，HSI 常常被噪声污染。这不仅降低了图像质量，还直接影响后续分类、检测和识别等任务。

过去，研究者提出了大量 HSI 去噪方法：

传统方法：如低秩分解、稀疏表示、总变分（TV）等，能够利用先验约束抑制噪声，但对复杂噪声的鲁棒性不足。
深度学习方法：卷积神经网络（CNN）在捕捉局部空间模式方面表现良好，但容易忽视远距离光谱依赖；而 Transformer 类方法通过自注意力机制建模全局关系，却往往计算开销较大。

👉 因此，真正的挑战在于：如何同时兼顾局部细节和全局依赖，并保持高效。

2. HCANet框架的提出

2.1 核心思想

HCANet（Hybrid Convolutional and Attention Network）正是针对上述矛盾提出的。作者希望通过 卷积与注意力机制的有机结合，实现局部–全局特征的协同建模。

具体来说：

卷积分支：高效提取局部纹理与邻域相关性；
注意力分支：建模光谱维度的长距离依赖关系；
多尺度机制：进一步增强模型对复杂噪声的适应性。

一句话总结：HCANet 就是“卷积的显微镜 + 注意力的望远镜”，让模型既能看清细节，又能把握全局。

2.2 网络结构总览（U-Net 风格 + 多层 CAMixing 模块）

HCANet 的整体框架基于经典的 U-Net，通过 编码器—解码器结构 + 跳跃连接 来实现特征的逐层压缩与逐层恢复。在此基础上，作者在每个阶段都引入了 CAMixing 模块（由 CAFM 与 MSFN 组成），以增强模型在复杂高光谱噪声环境下的特征表达能力。

2.1.1 U-Net 基础框架

Encoder（编码器）
逐层下采样输入的高光谱图像，提取不同尺度的语义特征，同时扩大感受野，以便捕捉长距离相关性。
Decoder（解码器）
对编码特征进行逐步上采样，并通过跳跃连接融合浅层的细节信息，从而恢复高分辨率的空间结构。
Residual Learning（残差学习）
网络输出的是噪声残差，最终的干净图像通过“输入 − 残差”的方式获得。这种方式能有效稳定训练，加快收敛。

为什么选择 U-Net？
高光谱图像包含丰富的空间—光谱结构，U-Net 在捕捉多尺度空间特征和保留细节方面具有天然优势，非常适合该任务。

2.2 CAMixing 模块嵌入

传统 U-Net 在处理高光谱数据时面临两个主要问题：

卷积算子局限性：标准卷积善于提取局部模式，但难以建模远距离的光谱相关性；
尺度信息不足：单一卷积核尺度下的特征提取，无法同时兼顾局部纹理和全局依赖。

为此，HCANet 在 U-Net 的各个阶段中插入 CAMixing 模块，其内部包含：

CAFM（Convolution and Attention Fusion Module）：卷积与注意力融合，既保持卷积的局部建模优势，又利用注意力机制捕捉远距离光谱依赖；
MSFN（Multi-Scale Feed-Forward Network）：在 CAFM 后串联，利用不同尺度的卷积核或扩张卷积，增强多尺度特征表示能力。

2.3 整体优势

这种 U-Net + CAMixing 的设计带来三点关键好处：

多尺度建模能力更强
CAFM 专注于局部—全局依赖融合，MSFN 则保证不同尺度的信息提取，两者结合能显著提升对复杂噪声的适应性；
空间与光谱的协同增强
卷积强化空间结构建模，注意力机制侧重光谱通道间的相关性，从而实现空间—光谱信息的动态融合；
网络表达更高效
通过残差学习和轻量化的注意力机制，模型在不显著增加参数量的前提下，获得了更强的去噪能力。

2.2 卷积与注意力融合模块CAFM

CAFM 是 HCANet 的核心单元之一，主要目标是同时捕捉局部空间纹理与光谱全局依赖。它被嵌入到编码器和解码器的不同层级，用于在特征提取过程中不断平衡 空间细节建模 和 光谱相关性建模。

CAFM 由两个并行分支和一个融合单元组成：

1）卷积分支（Local Convolution Branch）

输入：来自上层的特征图 $X \in \mathbb{R}^{H \times W \times C}$ 。
操作：
- 使用 分组卷积（Group Convolution） 提取局部邻域特征，降低参数量和计算开销；
- 通过 Channel Shuffle 操作打乱通道顺序，促进不同组之间的信息交互，避免分组卷积带来的通道独立性问题；
效果：在保持计算效率的同时，增强空间–光谱维度的特征融合，对细粒度的噪声（点状、条纹）更敏感。

💡 Channel Shuffle 作用
在分组卷积中，通道通常被划分为若干组，每组内部只与自己组内的通道交互，组间信息无法流通，就像小团队内部开会，团队间几乎不交流。

Channel Shuffle 的作用是将通道按照固定规则重新组合，实现跨组信息交换，同时保留组内通道的相对顺序。

示例（8 个通道分 2 组）：

原始分组：

组 1：C1,C2,C3,C4

组 2：C5,C6,C7,C8

Channel Shuffle 操作（reshape → transpose → flatten）：

新组 1：C1,C5,C2,C6

新组 2：C3,C7,C4,C8

现在，每组都包含来自不同原始组的通道，实现跨组信息流动，就像团队成员跨组交流。
效果：在保持分组卷积高效性的同时，增强通道间特征融合，提高网络的表达能力。

2）注意力分支（Spectral Attention Branch）

输入：同样的特征图 X。
操作：
- 线性投影得到 Q,K,V，并计算光谱维度的自注意力：
  
  $\text{Attention}(Q, K, V) = \text{Softmax}\left(\frac{Q K^\top}{\sqrt{d}}\right)$
- 输出全局依赖特征，建模跨波段的长距离相关性。
- 采取跳跃连接，避免注意力处理后信息丢失。
效果：弥补卷积分支缺乏光谱全局感知的不足，保持光谱维度的连续性。