论文笔记Efficient two-step liver and tumour segmentation on abdominal CT

文章提出了一种基于FRA-UNet和3DCRF的两步分割方法,用于自动分割腹部CT上的肝脏和肿瘤。FRA-UNet采用改进的残差块和分形残差块,提升了分割性能。在LiTS和3DIRCADb数据集上,该方法实现了高精度的分割,肝和肿瘤的Dice相似系数分别达到97%以上和70%以上,优于许多现有技术。使用CRF细化分割结果,减少了过分割问题,对临床诊断有实际应用价值。

通过深度学习和条件随机场在腹部CT上进行有效的两步肝脏和肿瘤分割

从计算机断层摄影(CT)扫描中分割肝脏和肿瘤是肝脏手术规划中的重要任务。肝脏和肿瘤的手动分割是一项耗时且劳动密集的任务;因此特别需要一种用于执行这种分割的完全自动化的方法。本文提出了一种两步自动分割肝脏和肿瘤的方法。在分割过程中使用级联框架,并且使用全连接条件随机场(CRF)方法来细化肿瘤分割结果。首先,使用提出的分形残差U-Net(FRA-UNet)来定位和初始分割肝脏。然后,FRA-UNet进一步用于从肝脏感兴趣区域(ROI)预测肝脏肿瘤。最后,使用三维(3D)CRF来细化肿瘤分割结果。改进的分形残差(FR)结构有效地保留了更有效的特征,提高了深层网络的分割性能;改进的深层残差块能够更有效地利用特征信息; 3D CRF方法平滑了轮廓,避免了肿瘤过分割问题。FRA-UNet在肝脏肿瘤分割挑战数据集(LITS)和算法比较数据库数据集的3D图像重建(3DIRCADb)上进行了测试,肝脏分割的Dice相似系数(DSC)分别为97.13%和97.18%,肿瘤分割的DSC分别为71.78%和68.97%,优于大多数最先进的网络。

Contrinbutions:

  1. 提出的FRA-UNet网络用于肝脏和肿瘤的两步分割,获得了97.13%和97.18%的Dice相似系数肝脏肿瘤分割挑战数据集中肝脏分割的(DSC)以及肿瘤分割的71.78%和68.97% DSC(LiTS)和用于算法数据库数据集比较的3D图像重建(3DIRCADb),性能优于大多数最先进的方法。

  1. 提出了改进的残差块,在残差块的基础上增加卷积层数,并引入稠密连接的思想提高特征重用能力,有效地提高了网络的泛化能力。

  1. 本文提出了一种新型的FR模块,并将其应用于FRA-UNet的编码器中。FR块包含三个分支,并结合本文提出的改进残差块,解决了原有分形结构特征丢失的问题,有效地提高了网络的分割性能。

网络模型:

改进的残差块:

分形残差块:

在这篇文章中,我们提出了一个两步分割网络,FRAUNet,来依次分割肝脏和肿瘤。在FRA-UNet中引入了改进的残差块和FR块,有效地提高了网络的特征重用能力和泛化能力。在LiTS和3DIRCADb数据集上的实验表明,FRA-UNet具有强大的分割性能,可以有效地从CT数据中分割出完整的肝脏,并从肝脏区域中准确地定位和分割出肝脏肿瘤。此外,CRF优化的使用导致最终分割结果的显著改善。除了本文中使用的CRF之外,帝王蝶优化等算法(MBO),蚯蚓优化算法(EWA),大象放牧优化(EHO),飞蛾搜索(MS)算法,黏菌算法(SMA),饥饿游戏搜索(HGS),龙格库塔优化器(RUN)、群体捕食算法(CPA)和Harris Hawks优化(HHO)也可用作肿瘤分割结果的优化方法。本文提出的分割方法对肝脏肿瘤的临床诊断具有实际意义,肿瘤分割精度的提高也是分割方法在今后工作中应用于临床诊断的关键。

在医学图像分割领域,特别是针对3D肝脏肿瘤检测,U-Mamba与EfficientPaired Attention的结合提供了一种高效且精确的解决方案。U-Mamba是一种将Mamba层集成到传统U-Net架构中的模型,旨在通过状态空间模型(SSM)增强远程依赖关系的建模能力,从而提高医学图像分割的性能。Mamba通过其选择机制和硬件感知算法,能够在处理长序列时保持高效的训练和推理能力,这对于3D医学图像尤其重要,因为这些图像通常具有较大的尺寸和复杂的结构[^2]。 ### U-Mamba的设计特点 - **状态空间模型集成**:U-Mamba利用Mamba的状态空间模型来替代传统的卷积操作,这不仅能够捕捉远程依赖关系,还能有效减少计算资源的消耗。 - **双向建模**:通过双向SSM的应用,U-Mamba能够在分割过程中考虑来自不同方向的信息,这对于理解复杂的3D医学图像至关重要。 - **高效的特征融合**:U-Mamba设计了一种高效的特征融合机制,确保编码器和解码器之间的信息传递更加流畅,有助于保留更多的细节信息。 ### EfficientPaired Attention的作用 EfficientPaired Attention是一种注意力机制,它在U-Mamba的基础上进一步增强了模型对关键区域的关注能力。这种机制通过计算查询向量和键向量之间的相似度,动态地调整权重,使得模型能够更专注于那些对于分割任务至关重要的区域。在3D肝脏肿瘤分割中,EfficientPaired Attention能够帮助模型更好地识别和区分肝脏及其周围的肿瘤组织,即使在肿瘤边界模糊的情况下也能实现较高的分割精度。 ```python class EfficientPairedAttention(nn.Module): def __init__(self, dim, num_heads=8, qkv_bias=False, qk_scale=None, attn_drop=0., proj_drop=0.): super().__init__() self.num_heads = num_heads head_dim = dim // num_heads self.scale = qk_scale or head_dim ** -0.5 self.qkv = nn.Linear(dim, dim * 3, bias=qkv_bias) self.attn_drop = nn.Dropout(attn_drop) self.proj = nn.Linear(dim, dim) self.proj_drop = nn.Dropout(proj_drop) def forward(self, x): B, N, C = x.shape qkv = self.qkv(x).reshape(B, N, 3, self.num_heads, C // self.num_heads).permute(2, 0, 3, 1, 4) q, k, v = qkv[0], qkv[1], qkv[2] # make torchscript happy (cannot use tensor as tuple) attn = (q @ k.transpose(-2, -1)) * self.scale attn = attn.softmax(dim=-1) attn = self.attn_drop(attn) x = (attn @ v).transpose(1, 2).reshape(B, N, C) x = self.proj(x) x = self.proj_drop(x) return x ``` ### 实验结果与应用 实验结果显示,基于U-Mamba和EfficientPaired Attention的方法在3D肝脏肿瘤分割任务中表现出了显著的优势。具体而言,该方法不仅在多个公开数据集上取得了优于现有CNN和Transformer基线模型的分割精度,而且在计算效率方面也表现出色,能够在保证高精度的同时实现快速的推理速度。这一特性对于实际临床应用尤为重要,因为它意味着模型可以更快地提供诊断支持,同时减少计算资源的需求。 ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值