遥感图像融合实战:用MCT-Net搞定高光谱与多光谱数据(附Python代码)

漏洞扫描的应用范围和场景 漏洞扫描服务范围和应用场景 阅读详情

遥感图像融合实战:用MCT-Net搞定高光谱与多光谱数据(附Python代码)

如果你正在处理遥感数据,尤其是手头既有高光谱图像(HSI)又有高分辨率的多光谱图像(MSI),那么你肯定遇到过那个经典难题:如何把两者的优势合二为一?高光谱数据能告诉你“这是什么物质”,因为它有成百上千个精细的光谱波段;而多光谱数据则能清晰地展示“这东西长什么样”,因为它有更高的空间分辨率。但现实是,鱼与熊掌往往不可兼得,卫星或航空传感器受物理限制,很难同时捕获高空间分辨率的高光谱图像。

于是,图像融合技术就成了遥感分析中的“炼金术”。传统的全色锐化或基于子空间分解的方法,要么对人工设计的先验规则依赖过重,要么在处理复杂场景时显得力不从心。深度学习,特别是卷积神经网络(CNN),曾带来一阵春风,但它擅长捕捉局部特征,对图像全局的、长距离的依赖关系却有些“近视”。这正是Transformer架构大显身手的地方——它在自然语言处理中建立的全局注意力机制,恰好能弥补CNN的短板。

但直接把视觉Transformer(ViT)搬过来就行了吗?未必。高光谱与多光谱的融合,本质上是跨模态的信息交互。简单地把两个模态的特征在最后拼接起来,就像让两个语言不通的人各自说完再翻译,效率低下且容易丢失细节。我们需要的是在特征提取的多层次、多尺度上,就让它们“实时对话”、充分交换信息。

这就是我们今天要深入探讨的MCT-Net(Multi-hierarchical Cross Transformer Network) 的核心思想。它不是一个黑箱模型,而是一个精心设计的、可解释的融合框架。接下来,我将从一个实践者的角度,带你一步步拆解MCT-Net的架构,并用PyTorch实现其关键的跨模态交互模块。我们不止于理论,更聚焦于工程落地:如何在Colab环境中快速搭建、如何适配你自己的数据集、以及如何可视化并评估融合结果。无论你是遥感领域的算法工程师,还是希望将先进视觉技术应用于特定领域的开发者,这篇文章都将提供一条清晰的实践路径。

1. 理解核心挑战:为什么需要“多层次交叉”?

在深入代码之前,我们必须先厘清问题的本质。高光谱图像(LR-HSI)和多光谱图像(HR-MSI)的融合,目标是为了生成一张兼具高空间分辨率和高光谱分辨率的图像(HR-HSI)。这听起来像是一个超分辨率问题,但实际上复杂得多。

光谱与空间的权衡:传感器硬件决定了这是一个零和游戏。高光谱相机为了捕获精细的光谱信息,需要将光子分散到许多窄波段上,导致每个波段接收到的光信号变弱,为了获得可用的信噪比,往往需要增大像元尺寸或积分时间,从而牺牲了空间分辨率。反之,多光谱相机波段少,每个波段能接收更多光子,因此可以实现更高的空间分辨率。

传统方法的瓶颈:

  • 基于全色锐化的方法:这类方法假设高分辨率的全色(PAN)图像或多光谱(MS)图像与高光谱图像的光谱响应存在线性关系。但当MSI波段较少,或者某些光谱区域与高分辨率图像相关性很低时,融合效果会急剧下降,出现光谱畸变。
  • 基于子空间/解混的方法:这类方法将图像分解为“端元”(纯净物质光谱)和“丰度”(空间分布)。它们依赖于精确的传感器参数(如点扩散函数PSF、光谱响应函数SRF)和复杂的优化过程,计算量大,且对噪声敏感。

深度学习的机遇与局限:CNN通过卷积核自动学习特征,避免了手工设计先验。许多方法将融合视为从LR-HSI和HR-MSI到HR-HSI的端到端映射学习。然而,标准CNN的局部感受野限制了其建模图像全局上下文关系的能力。对于广阔的农田、连绵的山脉这类大尺度地物,局部卷积可能无法有效关联相距甚远的相似区域。

提示:理解“长距离依赖”是理解Transformer价值的关键。在遥感图像中,一片森林的不同部分可能具有相似的光谱特征,但它们可能在图像中相隔很远。CNN需要很深的网络才能间接建立这种联系,而Transformer的自注意力机制可以直接计算图像中任意两个位置(像素块)之间的关系。

因此,一个理想的融合网络应该具备:

  1. 强大的局部特征提取能力(CNN的强项)。
  2. 高效的全局上下文建模能力(Transformer的强项)。
  3. 深度的、多尺度的跨模态信息交互机制(核心创新点)。

MCT-Net正是围绕这三点构建的。它的设计非常直观:用一个双分支网络分别处理HSI和MSI,在多个尺度(层次)上提取特征,然后在每个尺度上,用一个特殊的Transformer模块(MCT)让两个模态的特征进行“交叉对话”,最后再将所有尺度融合后的特征聚合起来,重建出最终的高质量图像。

2. MCT-Net架构全解析:从输入到输出的设计哲学

让我们像拆解一台精密仪器一样,审视MCT-Net的每一个组件。整个网络可以清晰地分为两大模块:多层次跨模态交互模块(MCIM) 和 特征聚合重构模块(FARM)。

2.1 多层次跨模态交互模块(MCIM):让光谱与空间实时对话

MCIM是MCT-Net的灵魂,它负责完成最核心的跨模态信息融合。其工作流程可以概括为“分层采样,逐级对话”。

第一步:尺度对齐与特征金字塔构建 输入是配准后的HR-MSI (H x W x c) 和 LR-HSI (h x w x C),其中C >> c(例如,C=200+个波段,c=4或8个波段)。

  1. 首先对LR-HSI进行上采样(如双线性插值),使其空间尺寸与HR-MSI一致,得到 LR0。
  2. 接着,对两幅图像并行地进行多次步长为2的3x3卷积下采样,构建特征金字塔。例如:
    • 经过第一次下采样,得到 HR1 (H/4 x W/4 x C) 和 LR1 (H/4 x W/4 x C)。
    • 经过第二次下采样,得到 HR2 (H/8 x W/8 x 2C) 和 LR2 (H/8 x W/8 x 2C)。
    • 以此类推。

这样,我们就得到了多对相同空间尺寸但不同语义层次的特征图对 (HR_n, LR_n)。低层特征(如HR1)富含细节和纹理(空间信息),高层特征(如HR3)则承载了更抽象的语义信息。

第二步:多层次交叉Transformer(MCT)—— 核心交互单元 每一对 (HR_n, LR_n) 都会被送入一个独立的MCT模块。MCT的设计巧妙借鉴了Transformer的编码器思想,并引入了交叉注意力(Cross-Attention)。

一个标准的MCT模块包含以下关键操作:

  • 线性投影与序列化:将3D特征图 (H' x W' x C') 展平为2D序列 (N x C'),其中 N = H' * W'。为了降低计算量并统一维度,通常会先通过一个线性层将通道数C'投影到一个固定的较低维度d(如64或128)。
  • 位置编码:为序列中的每个“词元”(即图像块)添加可学习的位置编码,以注入空间位置信息。
  • 多头融合注意力(MHFA):这是与传统自注意力(Self-Attention)最大的不同。在自注意力中,Query(Q)、Key(K)、Value(V)都来自同一个序列。而在MHFA中,我们让一个模态的特征作为Q,另一个模态的特征同时作为K和V。

例如,在HR_n分支中:

Q_hr = Linear(HR_n)
K_hr = Linear(HR_n) # 自注意部分
V_hr = Linear(HR_n) # 自注意部分
# 但更重要的是交叉部分:
K_cross = Linear(LR_n) # 来自另一模态的Key
V_cross = Linear(LR_n) # 来自另一模态的Value

然后,注意力权重由 Q_hr 与 [K_hr, K_cross] 共同计算,输出的特征则是 [V_hr, V_cross] 的加权和。这样,HR_n(富含空间信息)在生成每个位置的输出时,不仅关注自身的上下文,也主动去“询问”LR_n(富含光谱信息)中对应区域的光谱特性。

这个过程是双向的,LR_n分支也会以同样的方式融合HR_n的信息。经过多个这样的MHFA层堆叠,两个模态的信息在深层得到了充分混合。

  • 前馈网络与残差连接:与标准Transformer相同,注意力输出后会经过一个前馈网络(FFN),并伴有层归一化(LayerNorm)和残差连接,以稳定训练和提升性能。
  • 特征图重建:最后,将处理后的序列重新变换回3D特征图形状。

通过在不同尺度上应用MCT,网络实现了从细节到语义的全面跨模态融合。

2.2 特征聚合重构模块(FARM):精细重建空间细节

MCIM输出了多个尺度上融合后的特征图。FARM的任务就是将这些多尺度特征“组装”回一张高分辨率的HR-HSI。

特征拼接与跳跃连接:FARM首先将原始输入(上采样后的LR0)、MCIM中每个MCT模块的输入特征(作为跳跃连接)和输出特征,在通道维度上进行拼接。这确保了不同层次、不同融合阶段的信息都被保留。

条带卷积块(Strip Convolution Block):这是FARM中的一个精巧设计,旨在更好地恢复边缘和长条形地物特征。传统的3x3卷积核是各向同性的。条带卷积则使用1xK和Kx1的卷积核(以及两个对角线方向的类似核),专门从水平、垂直、左对角、右对角四个方向捕获长程上下文信息。

import torch
import torch.nn as nn

class StripConvBlock(nn.Module):
    def __init__(self, in_channels, out_channels, kernel_size=9):
        super().__init__()
        # 四个方向的条带卷积
        self.conv_h = nn.Conv2d(in_channels, out_channels//4, (1, kernel_size), padding=(0, kernel_size//2))
        self.conv_v = nn.Conv2d(in_channels, out_channels//4, (kernel_size, 1), padding=(kernel_size//2, 0))
        # 对角线卷积可以通过组合1D卷积或使用特定角度的核实现,此处简化为两个额外卷积
        self.conv_d1 = nn.Conv2d(in_channels, out_channels//4, kernel_size, padding=kernel_size//2) # 简化表示
        self.conv_d2 = nn.Conv2d(in_channels, out_channels//4, kernel_size, padding=kernel_size//2) # 简化表示
        self.fusion_conv = nn.Conv2d(out_channels, out_channels, 1) # 1x1卷积融合特征

    def forward(self, x):
        h = self.conv_h(x)
        v = self.conv_v(x)
        d1 = self.conv_d1(x)
        d2 = self.conv_d2(x)
        # 拼接四个方向的特征
        out = torch.cat([h, v, d1, d2], dim=1)
        out = self.fusion_conv(out)
        return out

代码块1:一个简化的条带卷积块PyTorch实现示例。实际实现中,对角线卷积需要更精细的设计以准确捕捉对角特征。

级联上采样:FARM采用渐进式上采样策略。从最粗糙的融合特征开始,通过反卷积或像素洗牌(PixelShuffle)进行上采样,并与来自MCIM的、对应尺度的、更精细的特征(通过跳跃连接而来)进行融合,再经过条带卷积块细化。这个过程逐级重复,直到恢复到目标的高空间分辨率。这种“由粗到细”的重建方式有助于生成结构清晰、细节丰富的图像。

3. 动手实现:用PyTorch构建MCT核心模块

理论清晰之后,我们来点实际的。下面我将展示如何用PyTorch实现MCT-Net中最关键的多头融合注意力(MHFA)模块和一个简化的MCT块。我们假设你已经配置好了PyTorch环境(推荐使用Colab,它预装了PyTorch且支持GPU)。

首先,定义多头融合注意力层:

import torch
import torch.nn as nn
import torch.nn.functional as F
import math

class MultiHeadFusionAttention(nn.Module):
    def __init__(self, embed_dim, num_heads):
        super().__init__()
        self.embed_dim = embed_dim
        self.num_heads = num_heads
        self.head_dim = embed_dim // num_heads
        assert self.head_dim * num_heads == embed_dim, "embed_dim must be divisible by num_heads"

        # 为两个分支分别定义Q, K, V的投影矩阵
        self.q_proj = nn.Linear(embed_dim, embed_dim)
        self.kv_proj_self = nn.Linear(embed_dim, embed_dim * 2) # 用于自身模态的K和V
        self.kv_proj_cross = nn.Linear(embed_dim, embed_dim * 2) # 用于交叉模态的K和V
        self.out_proj = nn.Linear(embed_dim, embed_dim)

    def forward(self, x_self, x_cross):
        """
        x_self: 当前模态的特征 [batch_size, seq_len, embed_dim]
        x_cross: 另一模态的特征 [batch_size, seq_len, embed_dim]
        """
        batch_size, seq_len, _ = x_self.shape

        # 计算当前模态的Q
        q = self.q_proj(x_self).reshape(batch_size, seq_len, self.num_heads, self.head_dim).transpose(1, 2)
        # 计算当前模态自身的K和V
        kv_self = self.kv_proj_self(x_self).reshape(batch_size, seq_len, 2, self.num_heads, self.head_dim).permute(2, 0, 3, 1, 4)
        k_self, v_self = kv_self[0], kv_self[1] # [batch, num_heads, seq_len, head_dim]
        # 计算来自交叉模态的K和V
        kv_cross = self.kv_proj_cross(x_cross).reshape(batch_size, seq_len, 2, self.num_heads, self.head_dim).permute(2, 0, 3, 1, 4)
        k_cross, v_cross = kv_cross[0], kv_cross[1]

        # 合并自注意力和交叉注意力的Key和Value
        k = torch.cat([k_self, k_cross], dim=2) # 在序列长度维度拼接
        v = torch.cat([v_self, v_cross], dim=2)

        # 计算缩放点积注意力
        attn_scores = torch.matmul(q, k.transpose(-2, -1)) / math.sqrt(self.head_dim)
        attn_weights = F.softmax(attn_scores, dim=-1)

        # 应用注意力权重到Value上
        attn_output = torch.matmul(attn_weights, v)
        attn_output = attn_output.transpose(1, 2).reshape(batch_size, seq_len, self.embed_dim)
        output = self.out_proj(attn_output)
        return output

代码块2:多头融合注意力(MHFA)层的核心实现。关键点在于将自注意力和交叉注意力的Key和Value拼接起来,让Query同时关注两个来源的信息。

接下来,构建一个完整的MCT块,它包含MHFA、前馈网络和必要的归一化与残差连接:

class MCTBlock(nn.Module):
    def __init__(self, embed_dim, num_heads, mlp_ratio=4.0, dropout=0.1):
        super().__init__()
        self.norm1_self = nn.LayerNorm(embed_dim)
        self.norm1_cross = nn.LayerNorm(embed_dim)
        self.attn = MultiHeadFusionAttention(embed_dim, num_heads)
        self.dropout = nn.Dropout(dropout)

        self.norm2_self = nn.LayerNorm(embed_dim)
        self.norm2_cross = nn.LayerNorm(embed_dim)
        mlp_hidden_dim = int(embed_dim * mlp_ratio)
        self.mlp_self = nn.Sequential(
            nn.Linear(embed_dim, mlp_hidden_dim),
            nn.GELU(),
            nn.Dropout(dropout),
            nn.Linear(mlp_hidden_dim, embed_dim),
            nn.Dropout(dropout)
        )
        self.mlp_cross = nn.Sequential(
            nn.Linear(embed_dim, mlp_hidden_dim),
            nn.GELU(),
            nn.Dropout(dropout),
            nn.Linear(mlp_hidden_dim, embed_dim),
            nn.Dropout(dropout)
        )

    def forward(self, feat_self, feat_cross):
        # 第一子层:多头融合注意力 + 残差
        attn_out_self = self.attn(self.norm1_self(feat_self), self.norm1_cross(feat_cross))
        feat_self = feat_self + self.dropout(attn_out_self)
        # 第二子层:前馈网络 + 残差
        mlp_out_self = self.mlp_self(self.norm2_self(feat_self))
        feat_self = feat_self + mlp_out_self

        # 对称地处理另一个模态(注意:实际中两个分支是并行计算的)
        # 为简洁起见,这里省略了feat_cross的对称计算流程
        # 在完整网络中,需要两个MCTBlock实例或在一个块内对称处理两个分支
        return feat_self, feat_cross # 返回更新后的两个模态特征

代码块3:一个MCT块的简化实现。展示了如何将MHFA嵌入到一个标准的Transformer块结构中。注意,为了清晰,这里只展示了单个模态的前向传播,完整实现需要对称处理两个分支。

有了这些核心组件,你就可以像搭积木一样,构建完整的MCIM:创建多个下采样层来生成特征金字塔,然后在每个尺度上实例化MCTBlock,让对应尺度的HR和LR特征进行交互。

4. 从数据到结果:全流程实战与性能对比

构建好模型只是第一步。一个完整的项目还包括数据准备、训练循环、评估和可视化。这里我们讨论几个关键实践点。

4.1 数据预处理与Dataset构建

遥感融合任务通常使用仿真的数据集进行训练和验证,因为很难获取完全配准的、同一场景的真实HR-HSI、LR-HSI和HR-MSI三元组。常见的数据集如CAVE、Harvard,以及遥感领域常用的Pavia University、Chikusei等。预处理步骤通常包括:

  1. 裁剪与分块:将大图裁剪成重叠或非重叠的小块(如64x64或128x128),以适应GPU内存并增加训练样本。
  2. 生成LR-HSI和HR-MSI:从原始的HR-HSI(作为Ground Truth)出发,通过模拟传感器特性来生成输入的LR-HSI和HR-MSI。
    • LR-HSI:对HR-HSI进行高斯模糊(模拟点扩散函数PSF)和下采样。
    • HR-MSI:将HR-HSI的光谱维度通过一个模拟的光谱响应函数(SRF)进行降维(例如,从200个波段降到8个波段)。
  3. 归一化:对每个样本或整个数据集进行归一化,将像素值缩放到[0, 1]或[-1, 1]区间。

一个简单的PyTorch Dataset示例如下:

from torch.utils.data import Dataset
import numpy as np
import torch

class HsiMsiDataset(Dataset):
    def __init__(self, hr_hsi_list, lr_hsi_list, hr_msi_list, transform=None):
        self.hr_hsi_list = hr_hsi_list # 列表,每个元素是HR-HSI的numpy数组
        self.lr_hsi_list = lr_hsi_list # 对应的LR-HSI
        self.hr_msi_list = hr_msi_list # 对应的HR-MSI
        self.transform = transform

    def __len__(self):
        return len(self.hr_hsi_list)

    def __getitem__(self, idx):
        hr_hsi = self.hr_hsi_list[idx] # 形状: [H, W, C_high]
        lr_hsi = self.lr_hsi_list[idx] # 形状: [h, w, C_high]
        hr_msi = self.hr_msi_list[idx] # 形状: [H, W, c_low]

        # 转换为PyTorch张量,并调整通道顺序为 [C, H, W]
        hr_hsi = torch.from_numpy(hr_hsi).permute(2, 0, 1).float()
        lr_hsi = torch.from_numpy(lr_hsi).permute(2, 0, 1).float()
        hr_msi = torch.from_numpy(hr_msi).permute(2, 0, 1).float()

        if self.transform:
            # 可以在这里添加数据增强,如随机翻转、旋转
            hr_hsi, lr_hsi, hr_msi = self.transform(hr_hsi, lr_hsi, hr_msi)

        return {'hr_msi': hr_msi, 'lr_hsi': lr_hsi, 'hr_hsi_gt': hr_hsi}

代码块4:一个简单的自定义Dataset类,用于加载配对的HSI和MSI数据。

4.2 训练策略与损失函数

MCT-Net的损失函数通常选择简单的均方误差(MSE)或平均绝对误差(MAE)作为起点,因为它们能有效驱动像素值的回归。

criterion = nn.MSELoss()
# 或者使用L1损失,对异常值更鲁棒
# criterion = nn.L1Loss()

然而,为了获得更好的视觉效果,可以结合感知损失、光谱角损失等。一个进阶的损失函数组合可能如下:

class HybridLoss(nn.Module):
    def __init__(self, alpha=1.0, beta=0.1):
        super().__init__()
        self.alpha = alpha # MSE权重
        self.beta = beta   # 光谱角权重
        self.mse_loss = nn.MSELoss()

    def spectral_angle_loss(self, pred, target):
        # 计算预测与目标之间的光谱角距离
        pred_norm = F.normalize(pred, p=2, dim=1) # 在光谱维度(C)上归一化
        target_norm = F.normalize(target, p=2, dim=1)
        cos_sim = torch.sum(pred_norm * target_norm, dim=1) # 余弦相似度
        # 防止数值误差导致acos输入超出[-1,1]
        cos_sim = torch.clamp(cos_sim, -1.0, 1.0)
        spectral_angle = torch.acos(cos_sim).mean() # 平均光谱角
        return spectral_angle

    def forward(self, pred, target):
        mse = self.mse_loss(pred, target)
        sa = self.spectral_angle_loss(pred, target)
        total_loss = self.alpha * mse + self.beta * sa
        return total_loss, mse, sa

代码块5:一个结合了MSE和光谱角距离(Spectral Angle Mapper)的混合损失函数示例,有助于更好地保持融合图像的光谱保真度。

训练技巧:

  • 优化器:使用AdamW优化器,并配合余弦退火或带热重启的学习率调度器。
  • 梯度裁剪:对于较深的Transformer网络,梯度裁剪有助于稳定训练。
  • 混合精度训练:使用torch.cuda.amp进行自动混合精度训练,可以大幅减少显存占用并加快训练速度,尤其对于高光谱数据这种通道数很多的场景。

4.3 评估指标与结果可视化

训练完成后,我们需要定量和定性地评估模型性能。

定量评估:常用的遥感图像融合质量指标包括:

  • 均方根误差(RMSE):衡量像素级误差。
  • 峰值信噪比(PSNR):基于MSE,值越高越好。
  • 结构相似性指数(SSIM):衡量结构相似性,范围[0,1]。
  • 光谱角制图(SAM):计算预测图像与真实图像在每个像素上的光谱向量夹角均值,单位是度或弧度,值越小表示光谱保真度越高。
  • 相对无量纲全局误差(ERGAS):一个综合性的全局误差指标。

定性评估(可视化):对于高维数据,可视化是关键。

  1. 假彩色合成:选择三个特定的波段(如近红外、红、绿)分别映射到RGB通道,生成人眼可识别的彩色图像,对比融合前后地物边界的清晰度和色彩的自然度。
  2. 光谱曲线对比:在图像中选择几个有代表性的点(如水体、植被、建筑),绘制其真实光谱、融合后光谱以及原始LR-HSI光谱(可能需要上采样)的曲线。观察融合方法是否恢复了光谱细节。
  3. 差异图:计算融合结果与真实HR-HSI之间的绝对差值图,并用热图显示。这能直观地看到误差集中在哪些区域。

下表对比了MCT-Net与几种经典方法(如HySure、CNMF)和主流深度学习方法(如SSR-Net、TFNet)在公开数据集上的典型性能表现:

方法类型PSNR (dB) ↑SSIM ↑SAM (度) ↓ERGAS ↓备注
HySure传统(子空间)38.50.924.13.8依赖精确的传感器参数
CNMF传统(解混)39.10.933.83.5计算复杂度高
SSR-Net深度学习(CNN)41.20.953.22.9设计了专门的空间/光谱损失
TFNet深度学习(CNN)41.80.963.02.7特征级融合
MCT-Net深度学习(Transformer)43.50.972.52.1引入跨模态注意力,全局建模

表1:不同融合方法在模拟数据集上的性能对比示例(数值为示意,具体因数据集和参数而异)。可以看到,结合了CNN局部特征提取和Transformer全局交互能力的MCT-Net,在各项指标上通常能取得更优的结果。

4.4 在Colab中快速实验与自定义数据集适配

Google Colab是进行此类实验的绝佳平台,它提供免费的GPU资源。要让MCT-Net跑在你的数据上,你需要:

  1. 准备数据:将你的数据按照(hr_hsi, lr_hsi, hr_msi)的配对格式组织成.npy或图像文件,并上传到Colab的云端硬盘或直接下载到运行时环境。
  2. 修改数据加载路径:在Dataset类中,将文件路径指向你的数据位置。
  3. 调整模型参数:根据你的数据调整输入图像的通道数(C_high和c_low)、图像尺寸、以及MCT-Net中的嵌入维度embed_dim、头数num_heads和下采样层数。
  4. 训练与监控:使用TensorBoard或WandB来监控训练过程中的损失和指标变化。
  5. 模型保存与推理:训练完成后,保存模型权重(.pth文件)。在推理时,加载模型,输入你的LR-HSI和HR-MSI,即可得到融合后的HR-HSI。

一个在Colab中启动训练的简化代码框架如下:

# 安装必要库(Colab通常已预装PyTorch)
!pip install wandb -q  # 可选,用于实验跟踪

# 挂载Google Drive(如果你的数据在Drive里)
from google.colab import drive
drive.mount('/content/drive')

# 在你的代码中,导入模块、定义模型、数据集、训练循环...
# ... (此处是你的主要训练脚本)

代码块6:在Google Colab中开始一个融合项目的基本设置步骤。

在实际项目中,我遇到过因为原始数据未精确配准而导致融合结果出现“鬼影”的情况。因此,数据预处理中的配准步骤至关重要。如果数据来自不同传感器或不同时间,必须使用专业的遥感图像处理软件(如ENVI)或算法(如基于SIFT的特征匹配)进行严格的几何校正和配准,确保HR-MSI和LR-HSI在空间上完全对齐。否则,再先进的模型也无法产出有意义的结果。

另一个实用技巧是关于计算资源。高光谱数据通道数多,Transformer的计算复杂度与序列长度的平方成正比。如果处理全尺寸图像导致内存溢出(OOM),除了使用更小的图像块(patch)外,还可以尝试:

  • 在MCT中采用轴向注意力或局部窗口注意力(如Swin Transformer的设计),来降低计算复杂度。
  • 使用梯度累积,在有限的GPU内存下模拟更大的批次大小。
  • 对高光谱数据进行主成分分析(PCA) 降维,保留主要光谱信息的同时大幅减少通道数,作为网络的输入。网络最终可以重建出全波段图像。

融合结果的评估不能只看PSNR。有时一个PSNR稍低的模型,其融合结果在视觉上(特别是光谱曲线)可能更令人满意。因此,一定要结合定性可视化进行综合判断。将你的融合结果输入到下游任务(如地物分类、目标检测)中,观察其性能提升,这才是衡量融合质量最直接的“金标准”。

高光谱和多光谱数据融合的比较[综述]2017 论文笔记 近年来,人们在设计图像处理算法以提高高光谱图像的空间分辨率方面做了大量的工作。HS数据与高空间分辨率多光谱(MS)数据的融合是最常见的问题之一。基于不同的理论,人们提出了不同的数据融合方法,包括分量替代(CS)、多分辨率分析(MRA)、光谱分离和贝叶斯概率。本文通过大量的实验对那些HS-MS融合技术进行了比较综述。通过定量和可视化评估10种最先进的HS-MS融合方法的融合性能,对其进行了比较。实验中使用了8个具有不同地理和传感器特征的数据集来评估融合算法的通用性和通用性。为了最大化这种比较的公平性和透明.. 阅读详情

相关推荐

IoTScanner:用于扫描IoT设备漏洞的Python脚本

物联网扫描仪 用于扫描IoT设备是否存在漏洞的Python脚本。 要求 对于Zigbee分析,需要满足以下要求。 IoTScanner使用KillerBee扫描zigbee网络。 为此,必须在安装之前安装以下Python模块: 连载 USB 加密(某些功能) pygtk(用于具有GUI的工具) cairo(用于具有GUI的工具) scapy-com(用于某些使用802.15.4 Scapy扩展名的工具) 在Ubuntu系统上,可以使用以下命令安装所需的依赖项: # apt-get install python-gtk2 python-cairo python-usb python-crypto python-serial python-dev libgcrypt-dev # hg clone https://bitbucket.org/secdev/scapy-com #

MCT-Net:基于多层次交叉transformer的高光谱与多光谱图像融合新范式

本文深入解析了MCT-Net这一基于多层次交叉Transformer的高光谱与多光谱图像融合新范式。针对传统方法在全局信息建模与跨模态深度交互上的不足,MCT-Net通过创新的多层次交叉注意力机制,实现了光谱与空间信息的深度互补与融合,并结合条带卷积进行精细重建,显著提升了融合图像的空间细节与光谱保真度,为遥感图像分析提供了更优解决方案。

weixin_29063035的博客 463

frontend-design skills

frontend-design skills

【图像融合】基于非负矩阵分解分解 CNMF的高光谱和多光谱数据融合

【图像融合】基于非负矩阵分解分解 CNMF的高光谱和多光谱数据融合

算法如诗的博客 904

用于计算系统状态的卡尔曼最优增益和最小均方误差(MMSE)估计研究(Matlab代码实现)

内容概要:本文围绕用于计算系统状态的卡尔曼最优增益和最小均方误差(MMSE)估计展开研究,深入探讨了卡尔曼滤波在动态系统状态估计中的核心作用。文章系统阐述了卡尔曼滤波的数学基础,包括状态空间模型的建立、先验与后验状态估计、协方差矩阵的递推更新,以及最优增益矩阵的推导过程,确保在高斯白噪声环境下实现对系统状态的最小均方误差估计。结合Matlab代码实现,完整展示了算法从理论建模到仿真实验的全流程,涵盖系统建模、噪声设置、滤波迭代、状态更新与误差分析等环节,并通过仿真实验验证了算法在噪声干扰下对系统真实状态的高精度跟踪能力。该研究为控制工程、导航系统、信号处理及自动化领域中的状态估计问题提供了坚实的理论依据与高效的数值实现方案。; 适合人群:具备一定控制理论、概率统计基础和Matlab编程能力,从事自动化、电子信息、航空航天、机器人、导航定位等相关领域的科研人员、工程技术人员及高校研究生。; 使用场景及目标:①掌握卡尔曼滤波的基本原理及其在状态估计中的数学推导过程;②学习如何利用Matlab实现卡尔曼滤波算法并进行系统仿真与性能评估;③应用于目标跟踪、传感器融合、惯性导航、故障诊断、时间序列预测等实际工程中的动态状态估计问题。; 阅读建议:建议读者结合文中提供的Matlab代码进行动手实践,通过调整系统模型参数、过程噪声与观测噪声强度,观察滤波效果的变化,深入理解卡尔曼增益的自适应调节机制与MMSE估计的收敛特性。同时可进一步拓展学习扩展卡尔曼滤波(EKF)、无迹卡尔曼滤波(UKF)等非线性滤波方法,以应对更复杂的非线性系统状态估计挑战。

菲涅尔波带片

菲涅尔波带片的简介,以及matlab绘制

Bestchinese的博客 1万+

Xshell收费后,这款免费终端工具NxShell同样强大!

面对Xshell收费,NxShell是一款强大且完全免费的SSH终端工具替代选择。它提供稳定的SSH连接、集成式SFTP文件管理、清晰的树状会话管理以及高度可定制的界面,满足日常运维与开发需求。本文详细介绍了其安装配置、公钥认证设置及与Xshell的核心功能对比,助你无缝切换至这款高效的开源终端。

ii567的博客 496

OpenSpec 从入门到精通:AI 时代的最佳 SDD 范式

同样都是「先写规范再写代码」的开源 SDD 框架,OpenSpec(https://github.com/fission-ai/openspec) 展现出了极高的工程性价比,无论是使用 Claude Code、Cursor 还是 Aider,都可以无缝接入 OpenSpec 的规格管理层。这些问题需要人来做判断,AI 做不了这个主。整个流程跑下来,OpenSpec 产出的效果还是令人满意的,一些前期没有考虑到的细节 AI 都补上了,生成的相关文档也有利于开发人员的知识对齐,可以尝试在团队内部推广。

qq_39093474的博客 940

IoT设备固件安全扫描(使用Firmadyne)

随着物联网(IoT)设备的普及,固件安全漏洞已成为软件测试的关键挑战。攻击者常利用固件层缺陷发起入侵,导致数据泄露或设备劫持。针对这一风险,Firmadyne作为开源工具,提供了高效的动态分析框架,使测试从业者能模拟真实环境并自动化扫描漏洞。本文将详细解析Firmadyne的核心功能、实战步骤及定制化技巧,助力测试团队构建robust的安全防线。

2501_94480392的博客 629

运算放大器多谐振荡器设计实战:从施密特触发器到波形生成

本文详细介绍了运算放大器在多谐振荡器设计中的实战应用,涵盖施密特触发器的迟滞比较原理、非稳态振荡器的自激机制以及单稳态和双稳态电路的设计技巧。通过具体案例和参数计算,帮助工程师掌握波形生成与信号处理的核心技术,提升电路设计效率与稳定性。

pz89012345的博客 217

科普:Frenet坐标

理想情况下,描述这种常见驾驶行为在数学上应该很容易。一种方法是使用新的坐标系。现在,而不是放下一个正常的笛卡尔网格,我们做一些事情,就像你看到下面…Frenet Coordinates是一种以比传统x,y笛卡尔坐标更直观的方式表示道路位置的方式。如果我们想要方程式来描述这个动作,那就不容易了!想象一下像下面这样一条弯曲的道路,笛卡尔坐标系就位于它的上面…使用这些笛卡尔坐标,我们可以尝试描述车辆通常在路上行驶的路径…那么在Frenet坐标系下呈现的典型轨迹是什么样的?在这里,我们定义了一个新的坐标系统。

OceanStar的博客 1万+

IOT病毒分析

IOT病毒分析

GalaxySpaceX的博客 3677

TEC控制器芯片 ADN8835 中文数据手册

ADN8835是一款高集成度的单芯片TEC控制器。它包括线性电压调节模块脉冲宽度调制(PWM) 电压调节模块和两个零漂移、轨到轨斩波放大器。线性控制器和PWM驱动器用于控制H桥配置中的内部功率MOSFET。通过测量热传感器反馈电压,并使用集成的运算放大器作为比例-积分-微分(PID)补偿器来调理信号,ADN8835通过TEC驱动电流,将连接至TEC模块的激光二极管或无源组件的温度稳定到编程的目标温度。

lu2289504634的博客 9544

Python 环境管理利器:Conda 从入门到精通

本文详细介绍了Python环境管理工具Conda的核心价值与实战技巧。通过对比Conda、Miniconda与Anaconda的区别,指导读者完成安装配置、镜像加速。重点阐述了如何创建、克隆、导出及管理独立的Python虚拟环境,以解决多项目依赖冲突问题,并分享了包管理、性能优化及常见问题解决方案,是提升开发效率的必备指南。

docker8compose的博客 233

机器学习参数寻优:方法、实例与分析

机器学习模型的性能很大程度上依赖于其参数的选择。参数寻优(Hyperparameter Tuning)是提升模型表现的关键步骤之一。本文将详细介绍主流的参数寻优方法,包括网格搜索(Grid Search)、随机搜索(Random Search)、贝叶斯优化(Bayesian Optimization)、和超参数优化库(如Optuna和Hyperopt)等,并探讨它们的优缺点及适用场景。

甜盐的博客 2844

Python爬虫实战:爬取小红书数据做爆款分析,我破解了签名加密+移动端反爬(附完整代码)

爬取小红书数据的核心,不是“简单的HTTP请求”,而是“理解移动端接口的加密逻辑和反爬规则”——从x-s/x-t签名破解到移动端UA伪装,再到行为模拟,每一步都是对移动端爬虫的深度理解。这套方案的价值在于,不仅能稳定抓取小红书数据,还能从数据中拆解出有价值的爆款特征,真正把“数据”变成“洞察”。对程序员来说,小红书爬虫不仅是技术练手,更是了解新媒体平台数据逻辑的窗口。希望这篇分享能帮到做新媒体分析或爬虫进阶的小伙伴,也欢迎在评论区交流小红书反爬和爆款分析的更多技巧!

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 2060

AI固件测试:IoT设备端模型的热更新漏洞扫描工具

AI赋能IoT热更新漏洞扫描技术研究 摘要:针对IoT设备热更新环节存在的安全风险(占IoT漏洞70%),本文探讨了AI技术在漏洞扫描中的应用。通过动态行为分析和LLM增强检测,AI工具可识别恶意插件注入、固件完整性破坏等风险,将检测准确率提升至92%。文章详细解析了AI扫描工具的核心技术,包括协议级防护、资产联动管理和自动化验证,并推荐了AppScan、Z0Scan等主流工具。实战案例显示AI可将漏洞发现周期缩短至小时级。最后提出测试最佳实践,建议将AI扫描集成到CI/CD流程,目标MTTR≤7天,展望A

2501_94445272的博客 1042

一次搞定 SAP IDoc 失败重处理与安全清理:BD87 实战指南

本文介绍了SAP IDoc错误处理的BD87实战指南。主要内容包括: BD87的核心功能:监控IDoc处理状态并支持人工重处理或标记删除,适用于入站/出站IDoc故障处理。 重处理前的关键步骤: 区分技术错误与业务错误 检查是否允许重复处理 确认日期范围设置正确 标准操作流程:通过BD87选择错误IDoc节点执行重处理,特别适用于状态51的应用错误。 标记删除操作:将无用IDoc标记为可清理状态,后续可通过WE11物理删除或归档处理。 常见问题解决方案:包括权限控制、批量处理优化建议以及自动化定位工具的开发

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 462

mct接收_BLOCK MCT红外探测器模块

MCT红外探测器模块特点:封装集探测器、前置放大、热电温控于一体即插即用操作,可通过设备软件进行探测器的全方位集成控制通过2米接线可以灵活放置在实验中的任何位置中红外碲镉汞探测器的工作原理是基于光电效应,基于材料吸收了光辐射能量后温度升高,从而改变了它的电学性能,可以利用光电效应探测辐射。中红外碲镉汞探测器为本征光电导体器件,单晶形式,响应波长6-12 μm。碲镉汞红外探测器模块是一种热电冷却探测...

weixin_32821477的博客 916

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

这个严重的无补丁 UPnP 漏洞影响几乎所有的IoT设备:绕过安全系统、扫描LANs

聚焦源代码安全,网罗国内外最新资讯!编译:奇安信代码卫士团队几乎所有的物联网设备的核心协议中都存在一个严重漏洞。该漏洞被称为 “CallStranger”,可导致攻击者劫持智能设备发动...

smellycat000的专栏 2525

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

解析高通vendor层mct框架

解析qcom mct module 凡越底层的代码,更能体现代码的精髓所在 — 数据结构 + 算法模型,所以在研究其代码时,可以先重点关注其数据结构,能更好的帮助我们解析其背后的原理逻辑!今天来分析一下高通的camera vendor下与camera hal相关的部分,mct模块,mct算是其中一个基础模块,其他所有的sensor、isp、imagelib等都会使用mct,所以对它的理解至关重要,更能帮助我们理解其他模块 基础数据结构体 mct_module_t mct_module_t是mct的重要模块

jackzhouyu的专栏 6184

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

IoTSeeker:物联网设备默认密码扫描检测工具

IoTSeeker,Rapid7出品,是一款物联网默认密码凭据网络扫描工具,可以针对特定物联网设备进行扫描检测,发现IoT设备是否使用默认或出厂设置密码凭据。工具介绍前久美国大规模网络中断的原因,已被调查为恶意软件利用物联网设备(CCTV摄像机,DVR等)默认密码凭据,入侵感染,组建僵尸网络发起的DDoS攻击。IoTSeeker可以帮助企业扫描其网络中的物联网设备,检测其密码是否已被修改,或设备是...

Grey的博客 2880

IOT漏洞记录查找

查找方法 过于漏洞记录的网站国内外有很多,我只介绍下面两个: 一: 利用cve list查询已经发布的漏洞: https://cve.mitre.org/cgi-bin/cvekey.cgi?keyword=camera **二:**利用exploit database查询,在我看来,exploit database的数据更将丰富清晰,但是漏洞库相比较少。 https://www.exploit-db.com/exploits ...

半岛铁盒的博客 389

开源漏洞扫描器合集

 首先,谢谢原作者: (此文为转载的文章,现将原地址贴出如下:http://blog.csdn.net/mypc2010/article/details/77679760) https://github.com/Canbing007/wukong-agent python redis awvs api nessus api =====================

ljl1704的专栏 1万+

物联网IoT自动化渗透测试

今天收到了两套南京厚德物联网(熊总)寄过来的物联网开发板EVB_MX和小熊派BearPi。EVB_MX+是针对腾讯的TencentOS-tiny物联网操作系统,小熊派BearPi是针对华为的LiteOS物联网操作系统。物联网(IoT)是新兴技术,是对传统Internet的扩展,它使所有带有射频识别(RFID),传感器或GPS等功能的物体相互连通。IoT安全问题频发,但是从攻击者的角度来看,用来评估...

strongerHuang 9990
上一篇: I2C总线仲裁机制:多主机通信中的冲突解决之道
下一篇: 避坑指南:Prometheus Web认证那些容易翻车的细节(附Python密码生成脚本优化版)
docker8compose
博客等级 码龄1天 0粉丝 1102原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值