论文笔记Multi-phase Liver Tumor Segmentation with Spatial Aggregation and Uncertain Region Inpainting

该研究提出一种新的多阶段肝肿瘤分割方法,结合空间聚合模块(SAM)和不确定区域修复模块(URIM)。SAM增强相间交互,减少信息冗余,而URIM利用高置信像素修复分割不确定性,改善边界细节。方法在ResNeXt-50主干网络上实现,通过PV流和ART流提取特征,解码器融合多级特征以生成分割结果。

基于空间聚集和不确定区域修复的多期肝肿瘤分割

ELSEVIER  Neural Networks 2021

       多阶段特征融合策略可分为三类:输入级融合(ILF)方法、决策级融合(DLF)方法和特征级融合(FLF)方法。在这些方法中,特征级融合FLF方法被证明可以获得最佳性能,因为它们利用了多级交叉相位特征。例如:吴等人提出了一种MW-UNet,它通过使用可训练系数对来自U-Net的隐藏层的特征进行加权来集成不同的相位。徐等人提出了一种基于 ResNet的PA-ResSeg,利用通道注意机制对不同阶段的特征进行重新加权。然而,已知的特征级融合FLF方法仅仅关注相位方向或通道方向的相位间关系,而忽略了不同相位之间的像素方向的对应关系,从而导致信息聚集中的冗余和低效率。特征融合不充分甚至会在空间位置引入干扰因素。

       此外,与其他分割任务一样,现有多阶段LiTS方法的性能受到不确定区域分割的影响,也就是说,分割结果通常呈现一些模糊或不明确的区域(尤其是肿瘤边界),这个问题主要是由(1)上下采样操作中的高频信息丢失(2)肿瘤和周围环境之间的低对比度引起的。

(1)空间聚合模块SAM,以确保足够的相间相互作用。该模块挖掘宏观和局部相位间的关系,并为每个相位生成像素级响应图。然后,根据响应图逐像素地调制和融合多相位特征。

(2)不确定区域修复模块URIM来细化不确定和模糊区域,有助于获得细粒度的肿瘤边界分割;关键思想是使用分割分数高的像素来修复周围的不确定像素。为此,引入了局部置信卷积(LC-Conv)运算,使不确定像素吸收相邻的鉴别特征。经过多次LC-Conv运算后,采用调整后的特征进行最终预测。

(3)在多相MPCT- FLLs数据集上验证了方法。

相互引导编码器部分以ResNeXt-50为主干,它使用两个路径,即PV流和ART流,来提取特定相位的特征。解码器部分将来自编码器的四级聚集特征作为输入,并产生初始概率图。为了合并多级特征,使用双线性插值对所有输入进行上采样,并通过级联和卷积进行融合。

在医学图像分割领域,特别是针对3D肝脏肿瘤检测,U-Mamba与EfficientPaired Attention的结合提供了一种高效且精确的解决方案。U-Mamba是一种将Mamba层集成到传统U-Net架构中的模型,旨在通过状态空间模型(SSM)增强远程依赖关系的建模能力,从而提高医学图像分割的性能。Mamba通过其选择机制硬件感知算法,能够在处理长序列时保持高效的训练推理能力,这对于3D医学图像尤其重要,因为这些图像通常具有较大的尺寸复杂的结构[^2]。 ### U-Mamba的设计特点 - **状态空间模型集成**:U-Mamba利用Mamba的状态空间模型来替代传统的卷积操作,这不仅能够捕捉远程依赖关系,还能有效减少计算资源的消耗。 - **双向建模**:通过双向SSM的应用,U-Mamba能够在分割过程中考虑来自不同方向的信息,这对于理解复杂的3D医学图像至关重要。 - **高效的特征融合**:U-Mamba设计了一种高效的特征融合机制,确保编码器解码器之间的信息传递更加流畅,有助于保留更多的细节信息。 ### EfficientPaired Attention的作用 EfficientPaired Attention是一种注意力机制,它在U-Mamba的基础上进一步增强了模型对关键区域的关注能力。这种机制通过计算查询向量键向量之间的相似度,动态地调整权重,使得模型能够更专注于那些对于分割任务至关重要的区域。在3D肝脏肿瘤分割中,EfficientPaired Attention能够帮助模型更好地识别区分肝脏及其周围的肿瘤组织,即使在肿瘤边界模糊的情况下也能实现较高的分割精度。 ```python class EfficientPairedAttention(nn.Module): def __init__(self, dim, num_heads=8, qkv_bias=False, qk_scale=None, attn_drop=0., proj_drop=0.): super().__init__() self.num_heads = num_heads head_dim = dim // num_heads self.scale = qk_scale or head_dim ** -0.5 self.qkv = nn.Linear(dim, dim * 3, bias=qkv_bias) self.attn_drop = nn.Dropout(attn_drop) self.proj = nn.Linear(dim, dim) self.proj_drop = nn.Dropout(proj_drop) def forward(self, x): B, N, C = x.shape qkv = self.qkv(x).reshape(B, N, 3, self.num_heads, C // self.num_heads).permute(2, 0, 3, 1, 4) q, k, v = qkv[0], qkv[1], qkv[2] # make torchscript happy (cannot use tensor as tuple) attn = (q @ k.transpose(-2, -1)) * self.scale attn = attn.softmax(dim=-1) attn = self.attn_drop(attn) x = (attn @ v).transpose(1, 2).reshape(B, N, C) x = self.proj(x) x = self.proj_drop(x) return x ``` ### 实验结果与应用 实验结果显示,基于U-MambaEfficientPaired Attention的方法在3D肝脏肿瘤分割任务中表现出了显著的优势。具体而言,该方法不仅在多个公开数据集上取得了优于现有CNNTransformer基线模型的分割精度,而且在计算效率方面也表现出色,能够在保证高精度的同时实现快速的推理速度。这一特性对于实际临床应用尤为重要,因为它意味着模型可以更快地提供诊断支持,同时减少计算资源的需求。 ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值