论文笔记MRLA-Net: A tumor segmentation network embedded with a multiple receptive-field lesion attention

文章提出了一种多感受野病灶关注模块,结合PET的定位优势和CT的解剖细节,通过大感受野病灶定位和小感受野病灶增强,以及细节和纹理增强分支,优化PET-CT肿瘤分割结果,以提高诊断准确性。

        肿瘤图像分割是医生诊断和制定治疗方案的重要依据。PET-CT由于其各自模态信息的互补优势,是识别疾病全身情况的极其重要的技术。然而,当前PET-CT肿瘤分割方法通常集中于PET和CT特征的融合。特征的融合会弱化情态本身的特征。因此,增强病灶的模态特征可以获得优化的特征集,这对改善分割结果是非常必要的。      

        在医学影像技术中,CT因其无创、快速、廉价的特点而被广泛应用于各种疾病的诊断。随着CT技术的发展,图像的信噪比普遍较高,能够准确反映器官的边缘以及器官与病变的差异。但不同类型、不同时期的肿瘤灰度差异很大。很难总结出与其他机关不同的一般规律。这使得在非增强CT扫描中难以观察病变。如果仅通过CT图像进行诊断,则可能发生误诊。由于其独特的分子功能成像模式,PET能够实现疾病的显微镜表示和全身分析。因此,PET-CT可以帮助医生快速定位病灶,了解全身情况,制定最佳治疗方案。

        肿瘤的形状和大小在病例中表现出很大的差异。肿瘤的最大直径范围从小于1cm到大于10 cm,因此范围跨度非常大。患者的量表分布不具有正态分布的特征。然而,对于PET-CT图像,在两种模态图像上仅少量肿瘤是明显的。大量肿瘤在单一模态图像上仅具有明显的病变区域,并且在另一模态上极难区分。在这些情况下,当CT图像中的病变与周围组织的灰度相同时,PET图像中的代谢灰度差异可以区分它们。另外,当病灶与周围组织在PET图像上表现出相同的低代谢影像学表现时,CT可以定位到坏死区伴低密度影。因此,PET的分子功能成像和CT的密度成像的结合可以为医生提供更多关于病变及其与健康区域的区别特征的信息。

        本文提出了一种将PET-CT诊断视野与病灶形态特征相结合的病灶关注模块,即多感受野病灶关注模块。本文充分利用了空间域、频域和通道注意力,提出了一个大感受野病灶定位模块和一个小感受野病灶增强模块,共同构成了多感受野病灶注意模块。

        这项工作的主要贡献如下:

                1.本文提出了基于医生诊断视野和PET-CT病变诊断优缺点的MRLAM。据我们所知,这是第一个针对PET-CT自身模式及其病变诊断特征的关注模块。

                2.本文充分利用PET的定位优势和CT的解剖细节,设计了定位分支(LR-LB)和边缘增强分支(SR-EEB)。针对PET-CT成像的不足,利用频域分析,设计了细节增强(LDEB)和纹理增强分支(LTEB)。所提出的MRLAM试图将医生的诊断先验知识最大程度地转化为注意方法。

                3.本文对MRLAM的位置进行了严格的设计,对编码器特征和注意力特征进行了分组交叉采样。它在多个PET-CT数据集上取得了良好的性能。

 

 

 

在医学图像分割领域,特别是针对3D肝脏和肿瘤检测,U-Mamba与EfficientPaired Attention的结合提供了一种高效且精确的解决方案。U-Mamba是一种将Mamba层集成到传统U-Net架构中的模型,旨在通过状态空间模型(SSM)增强远程依赖关系的建模能力,从而提高医学图像分割的性能。Mamba通过其选择机制和硬件感知算法,能够在处理长序列时保持高效的训练和推理能力,这对于3D医学图像尤其重要,因为这些图像通常具有较大的尺寸和复杂的结构[^2]。 ### U-Mamba的设计特点 - **状态空间模型集成**:U-Mamba利用Mamba的状态空间模型来替代传统的卷积操作,这不仅能够捕捉远程依赖关系,还能有效减少计算资源的消耗。 - **双向建模**:通过双向SSM的应用,U-Mamba能够在分割过程中考虑来自不同方向的信息,这对于理解复杂的3D医学图像至关重要。 - **高效的特征融合**:U-Mamba设计了一种高效的特征融合机制,确保编码器和解码器之间的信息传递更加流畅,有助于保留更多的细节信息。 ### EfficientPaired Attention的作用 EfficientPaired Attention是一种注意力机制,它在U-Mamba的基础上进一步增强了模型对关键区域的关注能力。这种机制通过计算查询向量和键向量之间的相似度,动态地调整权重,使得模型能够更专注于那些对于分割任务至关重要的区域。在3D肝脏和肿瘤分割中,EfficientPaired Attention能够帮助模型更好地识别和区分肝脏及其周围的肿瘤组织,即使在肿瘤边界模糊的情况下也能实现较高的分割精度。 ```python class EfficientPairedAttention(nn.Module): def __init__(self, dim, num_heads=8, qkv_bias=False, qk_scale=None, attn_drop=0., proj_drop=0.): super().__init__() self.num_heads = num_heads head_dim = dim // num_heads self.scale = qk_scale or head_dim ** -0.5 self.qkv = nn.Linear(dim, dim * 3, bias=qkv_bias) self.attn_drop = nn.Dropout(attn_drop) self.proj = nn.Linear(dim, dim) self.proj_drop = nn.Dropout(proj_drop) def forward(self, x): B, N, C = x.shape qkv = self.qkv(x).reshape(B, N, 3, self.num_heads, C // self.num_heads).permute(2, 0, 3, 1, 4) q, k, v = qkv[0], qkv[1], qkv[2] # make torchscript happy (cannot use tensor as tuple) attn = (q @ k.transpose(-2, -1)) * self.scale attn = attn.softmax(dim=-1) attn = self.attn_drop(attn) x = (attn @ v).transpose(1, 2).reshape(B, N, C) x = self.proj(x) x = self.proj_drop(x) return x ``` ### 实验结果与应用 实验结果显示,基于U-Mamba和EfficientPaired Attention的方法在3D肝脏和肿瘤分割任务中表现出了显著的优势。具体而言,该方法不仅在多个公开数据集上取得了优于现有CNN和Transformer基线模型的分割精度,而且在计算效率方面也表现出色,能够在保证高精度的同时实现快速的推理速度。这一特性对于实际临床应用尤为重要,因为它意味着模型可以更快地提供诊断支持,同时减少计算资源的需求。 ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值