15、跨模态分类的表示学习与心脏超声标准平面提取方法

跨模态分类的表示学习与心脏超声标准平面提取方法

在医学影像处理领域，跨模态分类的表示学习以及心脏超声标准平面提取是两个重要的研究方向。前者有助于在不同模态的医学影像数据中学习到通用的特征表示，从而提高分类的准确性；后者则能提高心脏超声检查的效率和准确性，对于心脏功能的评估具有重要意义。

跨模态分类的表示学习

数据使用

• 真实数据集 ：使用了来自BRATS肿瘤分割挑战的30个受试者的数据，包含四种MRI序列：T1、T1增强（T1+c）、T2和FLAIR。将每个受试者的扫描图像刚性配准到T1+c扫描图像，并重新采样到1mm各向同性分辨率。将四种肿瘤成分归为一个前景类，脑掩码的其他部分作为背景。为每个受试者的每个类别随机选择10000个大小为11×11×5体素的平衡子集，对每个补丁进行零均值和单位方差归一化。使用20个受试者的补丁进行训练，5个用于验证随机森林参数，5个用于测试。
• 人工数据集 ：从BRATS的T1+c扫描图像导出。通过指数函数$f (I) = Iγ$（其中$I$是体素强度）对T1+c扫描图像进行变换，生成三个替代视图（$γ = {1.5, 2, 3}$），同时保留原始强度（$γ = 1$）。在变换前将强度值缩放到0到1之间，变换后对每个补丁进行零均值和单位方差归一化。使用与其他实验相同的训练和测试扫描集。

实验设置

• 模型训练 ：在BRATS数据集和合成变换数据集的补丁上训练自编码器和轴向神经网络，目标是学习四种模态的联合表示。评估学习目标中相似性项