11、多视图全局 - 局部融合网络用于超声心动图视频分割

多视图全局 - 局部融合网络用于超声心动图视频分割

在医学图像分析领域，超声心动图视频的分割对于心脏疾病的诊断和治疗具有重要意义。本文将介绍一种名为 GL - Fusion 的新型融合框架，它能够有效提升超声心动图视频的分割性能。

1. 整体框架

GL - Fusion 网络主要由四个部分组成：基于视图的编码器、多视图全局 - 局部融合模块、密集周期损失模块和基于视图的解码器。

• 输入数据 ：将样本超声心动图视频表示为 $V = {X_i} {i = 1}^V$，其中 $X_i \in R^{C×H×W×T}$ 是第 $i$ 个视图的视频，$V$ 是视图的数量，$C$、$H$、$W$ 和 $T$ 分别表示输入图像的通道数、高度、宽度和长度。每个视频由 $T$ 帧组成，即 $X_i = {x {i}^t}_{t = 1}^T$。
• 基于视图的编码器 ：在实验中，使用 DeeplabV3 作为基于视图的编码器，将视频 $V$ 输入编码器，提取每个视图的特征图 ${F_i}_{i = 1}^V$，其中 $F_i \in R^{D×h×w×T}$，$D$、$h$ 和 $w$ 分别表示特征图的通道数、高度和宽度。
• 多视图全局 - 局部融合模块 ：该模块旨在从不同视图中提取全局和局部语义信息，以增强每个视图的特征表示，从而获得多视图融合特征 ${\hat{F} i} {i = 1}^V$。
• 基于视图的解码器 ：使用 D