10、MISS-Net：基于多视图嵌入学习的MCI向AD转化预测框架

MISS-Net：基于多视图嵌入学习的MCI向AD转化预测框架

在医学影像领域，准确预测轻度认知障碍（MCI）向阿尔茨海默病（AD）的转化对于早期干预和治疗至关重要。本文将介绍一种名为MISS - Net的新型框架，它利用FDG - PET影像，通过多视图嵌入学习和监督对比学习，在预测MCI向AD转化的任务中取得了出色的性能。

1. MISS - Net网络架构

MISS - Net主要包括空间视觉变换器（Spatial Vision Transformer）、视图投影（View Projection）以及组合与全连接层（Combination and Fully - Connected Layer）三个关键部分。

1.1 基于视觉变换器的图像编码

传统变换器中的自注意力机制在神经影像数据处理中计算复杂度高。对于分辨率为H × W的视图，自注意力复杂度为$O(H^2W^2d)$。为了降低复杂度并提高性能，MISS - Net采用了空间自注意力机制，该机制结合了局部分组自注意力（LSA）和全局子采样注意力（GSA）。
- 局部分组自注意力（LSA） ：将特征图在空间上均匀划分为$k_1 × k_2$个不重叠的局部窗口（假设$H\%k_1 = 0$且$W\%k_2 = 0$），分别计算每个子窗口的LSA，复杂度降低到$O(\frac{H^2W^2}{k_1k_2}d)$。
- 全局子采样注意力（GSA） ：由于不重叠划分会阻碍子窗口之间的通信，GSA通过卷积操作将每个子窗口表示为单个关键信息，然后应用自注意力机制捕获全局重要特征，复杂度为$O(k_1k_2HWd)$