【论文阅读笔记】SegMamba: Long-range Sequential Modeling Mamba For 3D Medical Image Segmentation

最新推荐文章于 2025-10-28 09:30:09 发布
原创 最新推荐文章于 2025-10-28 09:30:09 发布 · 2k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #笔记

研究人员介绍了SegMamba，一种在3D医学图像分割中表现出色的模型，使用Mamba块替代Transformer中的CNN，特别在BraTS2023数据集上展示了高分辨率体积特征建模的能力。

24 Jan 2024 【开源】

论文提出 3D 医学图像分割Mamba模型，与基于 Transformer 的方法相比，SegMamba 在状态空间模型的整个体积特征建模方面表现出色，体积特征的分辨率为 64×64×64 。在BraTS2023数据集上进行验证。

图片已经画得很清楚，都是基本块组成，只是将transformer块中的CNN换成了mamba块。

image-20240126080804524

在BraTS2023 数据集实验效果

image-20240126081011148
医学顶会 MICCAI‘24 | SegMamba：用于3D医学图像分割的长序列建模Mamba
小白学视觉
01-23 481
Transformer架构在3D医学图像分割中表现出色，这得益于其建模全局关系的能力。然而，在处理高维医学图像时，它带来了显著的计算负担。Mamba作为状态空间模型（SSM），最近在自然语言处理领域因其出色的记忆效率和计算速度而成为建模序列数据中长距离依赖性的显著方法。受此启发，作者提出了SegMamba，这是一种新颖的3D医学图像分割Mamba模型，有效地捕获了每个尺度上整体体积特征中的长距离依赖性。
VM-UNet:视觉Mamba UNet用来医学图像分割 论文及代码解读
热门推荐
Philo的博客
02-26 2万+
付费专栏，不定期分享最新医学图像分割论文，详细解读论文及代码，没有代码的论文不放在此专栏中！ 介绍了Mamba模型在医学图像分割领域的论文及相关代码，代码可直接复制使用
SegMamba: Long-range Sequential Modeling Mamba For 3D Medical Image Segmentation
weixin_43780665的博客
02-26 5866
Transformer体系结构在建模全局关系方面显示出了非凡的能力。然而，它在处理高维医学图像时提出了重大的计算挑战。这阻碍了它在这项任务中的发展和广泛采用。Mamba作为一种状态空间模型(State Space Model, SSM)，近年来作为序列建模中一种值得关注的远程依赖关系模型，以其显著的存储效率和计算速度在自然语言处理领域表现优异。受其成功的启发，我们引入了SegMamba，一种新颖的3D医学图像分割Mamba模型，旨在有效地捕获每个尺度下整个体积特征中的远程依赖关系。
【亲测免费】 探索医疗影像的未来：SegMamba，3D医学图像分割的新王者
gitblog_00091的博客
05-30 865
探索医疗影像的未来：SegMamba，3D医学图像分割的新王者 在当今医疗技术日新月异的时代，3D医学图像分割扮演着至关重要的角色，它不仅支撑着精准诊断和治疗计划的制定，更是推动了个性化医疗的发展。今天，我们要向您隆重推荐一个开源项目——SegMamba，这是一条蜿蜒于医学成像领域的高效序列表征巨蟒。 项目介绍 SegMamba，基于深度学习的长程序列建模框架，专为3D医学图像分割而设计。它的出...
【论文阅读】SegMamba: Long-range Sequential Modeling Mamba For 3D Medical Image Segmentation
最新发布
想当咸鱼的猫
10-28 715
SegMamba：高效建模3D医学图像长距离依赖的新型分割框架 本文提出SegMamba，一种基于状态空间模型（SSM）的3D医学图像分割方法。针对Transformer在全局特征建模时计算成本高的问题，SegMamba创新性地引入Tri-orientated Mamba模块，通过三向处理高效捕获三维空间的长距离依赖。方法包含三个核心组件：1）Gated Spatial Convolution增强空间特征表示；2）特征级不确定性估计模块优化多尺度特征重用；3）新构建的CRC-500结直肠癌CT数据集（500
文献翻译（Mamba-UNet: UNet-Like Pure Visual Mamba for Medical Image Segmentation）
m0_54187478的博客
02-23 6079
在医学图像分析的最新进展中，卷积神经网络（CNN）和视觉变换器（ViT）已经设定了重要的基准。前者擅长通过卷积运算捕捉局部特征，而后者通过利用自注意机制实现了显著的全局上下文理解。然而，这两种架构在有效地建模医学图像中的长程依赖性方面都存在局限性，这是精确分割的关键方面。受Mamba架构的启发，我们提出了Mamba UNet，这是一种将医学图像分割中的U-Net与Mamba的能力协同的新架构。
可视化Brats2023数据集 nii文件的代码
qq_40723205的博客
10-21 533
【代码】可视化Brats2023数据集 nii文件的代码。
Swin-UMamba和SegMamba论文解读
qq_61786525的博客
11-10 2636
分割后的 3D 图像，其中不同组织或结构被标记为不同的类别。医学图像分割，即将图像中的不同组织或器官进行区分和标记。: Swin-UMamba 的主要任务是进行。： 3D 医学图像分割。
Mamba杀入MICCAI 2024！SegMamba和Swin-UMamba均收录！
阿木寺的博客
05-14 2408
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba和医学影像】交流群添加微信：CVer5555，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！不出所料，Mamba+医学影像相关工作在MICCAI 2024上爆发性收录！早下手的同学赢麻...
Mamba-＞医学图像分割(二)
qq_18063797的博客
07-28 1240
创新点：提出High-order Vision Mamba UNet (H-vmunet)模型。创新点：现有基于mamba的方法没有利用预训练模型，本文提出Swin-UMamba，专门针对2D医学影像分割，并且利用ImageNet-based pretraining。代码实现中，实际上是没有构建无标签数据集的，就是全都有标签，前面若干个用标签和有监督方式训练，两个模型输出argmax分别作为另一个模型的伪标签得到Losssemi。创新点：提出HC-Mamba，将膨胀卷积应用到Mamba分割模型。
遥感领域新方向！Mamba+RS论文汇总！
开着奔驰种地的博客
07-29 3885
本文总结了将Mamba应用至遥感领域的相关论文（14篇）
BraTs系列比赛
m0_66160751的博客
07-26 2296
脑肿瘤分割挑战赛（Brain Tumor Segmentation, BraTS Chanllenge）是国际医学图像计算和计算机辅助干预协会(Medical Image Computing and Computer Assisted Intervention Society，MICCAI）联合举办的。自2012年以来，已经连续举办十几年，BraTS一直致力于生成用于描述成人脑胶质瘤的基准环境和数据集。每年的数据集和挑战任务都会进行一些改变。
《Large Window-based Mamba UNet for Medical Image Segmentation:Beyond Convolution and Self-attention》
m0_74172965的博客
04-15 1531
《Large Window-based Mamba UNet for Medical Image Segmentation:Beyond Convolution and Self-attention》全文翻译
86个开源的Mamba魔改！
阿木寺的博客
07-16 856
今年基于Mamba的改进变体层出不穷。涵盖图像分割、时序、视频音频、点云、多模态等方向。2024上半年已有近百篇相关论文，更有多篇被CVPR、ICLR、ECCV等顶会收录！未来几年内Mamba都是一个很好出论文的方向，今天分享86个Mamba魔改思路！共分为11个方向，而且全部都有开源代码！今天无偿分享给大家！11个Mamba魔改方向状态空间模型扩散模型视觉推荐系统语音/音频视频时间序列多模态图表...
医学影像数据集汇总（持续更新）150个
m0_52987303的博客
03-12 1万+
影像数据集(150) 全身(5) 头颈部(29) 胸部(23) 腹部(26) 心脏(6) 骨头(4) 内窥镜（17) 眼底（18) 皮肤科(6) 显微成像(16) 影像文本数据集(8) 文本数据集(12)
WDM-3D项目中BraTS2023数据预处理技术解析
gitblog_07919的博客
06-13 399
WDM-3D项目中BraTS2023数据预处理技术解析 引言 在医学图像处理领域，特别是3D医学图像生成任务中，数据预处理是影响模型性能的关键环节。本文针对WDM-3D项目中的BraTS2023数据集预处理流程进行详细解析，帮助研究人员理解并正确实施相关预处理步骤。 BraTS2023数据集特点 BraTS(Brain Tumor Segmentation)2023数据集包含多模态脑部MRI扫描数...
Medical Transformer:Gated Axial-Attention for Medical Image Segmentation
04-30
<think>好的，我现在要帮助用户了解或实现Medical Transformer模型中的Gated Axial-Attention机制，特别是用于医学图像分割的部分。首先，我需要回忆一下用户提供的引用内容。用户引用了两篇资料，其中引用[1]是关于Medical Transformer的论文和代码库，而引用[2]列出了其他相关的分割模型，但用户主要关注的是Medical Transformer。 用户的问题具体是关于Gated Axial-Attention的实现，所以需要深入理解这个机制的工作原理。根据论文，Gated Axial-Attention结合了轴向注意力和门控机制，轴向注意力指的是在图像的两个轴上（比如行和列）分别应用自注意力，这样可以减少计算量，同时捕捉长程依赖。门控机制则可能用于调整注意力权重，增强重要特征，抑制不相关的部分。 接下来，我需要考虑如何将这个机制转化为代码实现。可能需要参考论文中的结构图和公式。例如，轴向注意力可能分为行注意力和列注意力两个部分，然后通过门控机制进行融合。门控可能使用sigmoid函数来生成0到1之间的权重，然后将这两个注意力输出加权相加。 然后，我需要检查用户提供的代码链接，确保代码结构正确。用户给出的GitHub仓库是jeya-maria-jose/Medical-Transformer，所以应该参考其中的实现。例如，可能在axial_attention.py或者类似的文件中找到Gated Axial-Attention的代码。 此外，需要注意医学图像的特点，比如高分辨率和局部细节的重要性，这可能影响模型的设计。例如，轴向注意力可以处理二维结构，而门控机制帮助模型专注于关键区域，这对分割任务很重要。 用户可能需要具体的代码示例，所以需要提供PyTorch的实现片段，包括轴向注意力的分解、位置编码的添加，以及门控机制的应用。同时，要解释每个部分的作用，比如如何计算查询、键、值，如何应用位置编码，如何生成门控权重，并融合行和列的注意力结果。 还需要考虑实现中的细节，比如如何将二维图像转换为序列以适应Transformer结构，如何处理位置信息，以及如何将轴向注意力模块集成到UNet等分割网络中。可能还需要讨论数据预处理、训练策略和损失函数的选择，比如结合Dice损失和交叉熵损失。 最后，用户可能对如何应用该模型到自己的医学图像数据感兴趣，所以需要给出训练和推理的步骤，比如加载数据、构建模型、设置优化器和训练循环等。同时，提供相关的参考文献和代码库链接，方便用户进一步查阅。</think>以下是为您整理的Medical Transformer中Gated Axial-Attention实现详解： ### 一、Gated Axial-Attention机制解析 1. **轴向注意力分解**：将2D自注意力分解为行、列两个1D注意力操作 $$ \text{Attention}(Q,K,V) = \text{Softmax}(\frac{QK^T}{\sqrt{d_k}} + P)V $$ 其中位置编码$P$分解为$P_{row}$和$P_{col}$[^1] 2. **门控机制实现**： ```python class GatedAxialAttention(nn.Module): def __init__(self, dim, heads): super().__init__() self.row_att = AxialAttention(dim, heads, axis=0) # 行注意力 self.col_att = AxialAttention(dim, heads, axis=1) # 列注意力 self.gate = nn.Parameter(torch.ones(2)) # 可学习门控参数 def forward(self, x): row_out = self.row_att(x) col_out = self.col_att(x) # 门控融合 return torch.sigmoid(self.gate[0])*row_out + torch.sigmoid(self.gate[1])*col_out ``` ### 二、完整实现步骤 1. **特征序列化**：将2D医学图像转换为序列 ```python b, c, h, w = x.shape x_seq = x.view(b, c, h*w).permute(0, 2, 1) # [b, h*w, c] ``` 2. **位置编码注入**： ```python class AxialPositionalEmbedding(nn.Module): def __init__(self, dim, shape): super().__init__() self.row_emb = nn.Parameter(torch.randn(shape[0], dim//2)) self.col_emb = nn.Parameter(torch.randn(shape[1], dim//2)) def forward(self, x): return x + torch.cat([self.row_emb.unsqueeze(1), self.col_emb.unsqueeze(0)], dim=-1).flatten(0,1) ``` 3. **完整网络架构**（基于UNet框架）： ```python class MedicalTransformer(nn.Module): def __init__(self, in_ch=3, classes=2): super().__init__() self.encoder = nn.Sequential( ConvBlock(in_ch, 64), GatedAxialAttention(64, heads=4), Downsample(64, 128), GatedAxialAttention(128, heads=8), Downsample(128, 256) ) self.decoder = ... # 对称上采样结构 ``` ### 三、训练实践要点 1. **数据预处理**： - 医学图像标准化（CT值截断+归一化） - 随机旋转/翻转增强 - 器官特定ROI裁剪 2. **损失函数组合**： ```python loss = 0.5*DiceLoss()(pred, mask) + 0.5*CrossEntropyLoss()(pred, mask) ``` 3. **训练策略**： ```python optimizer = AdamW(model.parameters(), lr=1e-4, weight_decay=1e-5) scheduler = CosineAnnealingLR(optimizer, T_max=100) ```
评论 4
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值