19、医学高光谱图像分割的因子空间与光谱策略

医学高光谱图像分割的因子空间与光谱策略

1 引言

医学高光谱成像（MHSI）是一种新兴的成像方式，它能在广泛的电磁光谱范围内获取二维医学图像，为疾病诊断和计算病理学带来了新机遇。通常，MHSI呈现为一个超立方体，在光谱维度上有数百个狭窄且连续的光谱带，在空间维度上有数以千计的像素。

目前，对MHSI进行分类或分割主要有以下几种方法：
- 2D网络方法 ：将MHSI的两个空间维度作为输入空间维度，光谱维度作为输入通道维度。不过，这种方法在处理高空间分辨率MHSI时不太适用，且在降低光谱维度时可能会给空间特征带来噪声。虽然2D网络计算效率高，通常比3D网络快得多，但它在第一个卷积层之后就混合了光谱信息，导致MHSI的波段间相关性未得到充分利用。
- 3D网络方法 ：这是学习MHSI像素间和波段间相关性最直接的方法，但它通常面临高计算复杂度的问题。
- 双流策略方法 ：一些HSI分类骨干网络尝试设计双流架构，分别处理空间结构和光谱强度。然而，这些方法只是简单地采用卷积或MLP层来提取光谱特征，忽略了光谱域中的低秩性。

由于MHSI的高空间光谱维度，对其进行全面分析较为困难。在MHSI中存在两种相关性：
- 光谱相关性 ：相邻像素之间存在光谱相关性，例如局部阳性（癌症）区域和阴性（正常）区域的强度值与光谱带高度相关。
- 空间相关性 ：相邻波段之间存在空间相关性，附近波段的余弦相似度得分较高，而远距离波段之间的得分较低。

基于这些相