【论文阅读】Augmented Transformer network for MRI brain tumor segmentation

最新推荐文章于 2025-12-01 20:46:13 发布
原创 最新推荐文章于 2025-12-01 20:46:13 发布 · 1k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #transformer #深度学习

Zhang M, Liu D, Sun Q, et al. Augmented transformer network for MRI brain tumor segmentation[J]. Journal of King Saud University-Computer and Information Sciences, 2024: 101917. [开源]
IF 6.9 SCIE JCI 1.58 Q1 计算机科学2区

【核心思想】

本文提出了一种新型的MRI脑肿瘤分割方法，称为增强型transformer 网络（AugTransU-Net），旨在解决现有transformer 相关的U-Net模型在捕获长程依赖和全局背景方面的局限性。本文的创新之处在于构建了改进的增强型transformer 模块，这些模块结合了标准transformer 块中的增强短路（Augmented Shortcuts），被策略性地放置在分割网络的瓶颈处，以保持特征多样性并增强特征交互和多样性。

【方法】

image-20240122153749527

  1. 架构设计：AugTransU-Net利用层次化的3D U-Net作为骨干网络，引入了配对注意力模块（paired attention modules）到编码器和解码器层，同时利用改进的transformer 层通过增强短路（Augmented Shortcuts）在瓶颈处。

  2. 特征增强：通过增强短路（Augmented Shortcuts），可以在多头自注意力块中增加额外的分支，以保持特征多样性和增强特征表示。传统的Shortcuts连接只是将输入特征复制到输出，这限制了其增强特征多样性的能力。具有增强Shortcuts方式的 Transformer 模型已被用来避免特征崩溃并产生更多样化的特征。增强短路的公式为：

    Aug ⁡ − S = ∑ i = 1 T T l i ( Z l ; θ l i ) , l ∈ [ 1 , 2 , … , L ] \operatorname{Aug}_{-} S=\sum_{i=1}^{T} T_{l i}\left(Z_{l} ; \theta_{l i}\right), l \in[1,2, \ldots, L] Aug−​S=∑i=1T​Tli​(Zl​;θ

最低0.47元/天 解锁文章
【BraTS】Brain Tumor Segmentation 脑部肿瘤分割2（UNet的复现）
钱多多先森
05-11 4854
1、复线unet 2、构建训练数据流 3、浅谈思路
【论文合集】2022年10月医学影像期刊论文合集
sukeee的博客
12-08 4375
本月IEEE Transactions on Medical Imaging(1区 top if 11.037) 共32篇, Medical Image Analysis（1区 top if 13.828） 共30篇.
《Brain Network Transformer》
m0_50733469的博客
12-19 1403
本文研究用于脑网络分析的基于 Transformer 的模型。受数据独特属性的驱动，文章将脑网络建模为具有固定大小和顺序的节点图，这使作者能够（1）使用连接配置文件作为节点特征来提供自然且低成本的位置信息（这里将大脑功能连接矩阵作为节点特征），以及（2）通过跨个体的高效注意力权重学习 ROIs 之间的成对连接强度，这些对下游分析任务具有预测性。此外，文章还提出了一种基于自监督软聚类和正交投影的正交聚类读出（ORTHONORMAL CLUSTERING READOUT）操作。
[论文精读]Brain Network Transformer
Sherlily的博客
01-10 2525
计算机-人工智能-脑科学与类脑智能
Brain Network Transformer 使用指南
gitblog_00002的博客
09-12 482
Brain Network Transformer 使用指南 1. 目录结构及介绍 本项目是基于NeurIPS 2022论文的开源实现，用于脑网络分析的Transformer模型。下面是该仓库的基本目录结构及其简要说明： source: 核心源代码所在目录，包含模型训练和评估的主要脚本。 __init__.py: 确保目录作为Python包导入。 包含其他.py文件，具体负责模型定义、数据处...
BrainNetworkTransformer 使用指南
gitblog_00570的博客
09-13 1120
BrainNetworkTransformer 使用指南 项目介绍 BrainNetworkTransformer 是一个基于神经网络架构的开源项目，专门设计用于模拟和分析大脑网络的行为模式。该项目融合了深度学习技术和脑科学的最新进展，旨在提供一个高效、灵活的工具，帮助科研人员和数据科学家探索大脑连接组的复杂性，并从中提取有意义的生物学信息。通过其独特的Transformer模型应用于脑成像数据分...
（六：2020.08.22）MICCAI 2019 追踪之论文纲要（上）
Jojo论文基地
08-23 4180
MICCAI 2019 论文全解读之PARTII（关于图像分割）（修正于2020.08.22）前言《Searching Learning Strategy with Reinforcement Learning for 3D Medical Image Segmentation》（通过强化学习搜索学习策略进行3D医学图像分割）《Comparative Evaluation of Hand-Engineered and Deep-Learned Features for Neonatal Hip Bone S
云计算在AI大模型训练与优化中的应用：AWS、Azure、Google Cloud在医学影像分类中的实现
编程技术探索者，分享C/C++、C#、Java、数据库等开发经验，聚焦实战技巧与AI兴趣，助力编程爱好者成长。
08-26 1597
本文深入探讨云计算平台（AWS、Azure、Google Cloud）在AI大模型（如Vision Transformer, ViT）训练与优化中的应用，聚焦于医学影像分类任务（如肺结节检测、乳腺癌诊断、脑肿瘤分类）。本文详细讲解AWS SageMaker、Azure Machine Learning、Google Cloud Vertex AI的原理、实现细节及医学影像场景中的应用，结合Hugging Face Transformers和PyTorch框架，适合深度学习从业者和医学影像领域研究者。
【AI视野·今日CV 计算机视觉论文速览 第238期】Fri, 1 Oct 2021
TomRen
10-03 1181
AI视野·今日CS.CV 计算机视觉论文速览 Fri, 1 Oct 2021 Totally 62 papers ????上期速览✈更多精彩请移步主页 Daily Computer Vision Papers Sensor-Guided Optical Flow Authors Matteo Poggi, Filippo Aleotti, Stefano Mattoccia本文提出了一个框架来引导具有外部线索的光流网络，以在已知或不可见的域上实现卓越的准确性。鉴于来自外部源的稀疏但准确的光流提示
医学影像AI应用：多模态学习结合影像与文本（如DICOM元数据）在诊断中的原理与实现
编程技术探索者，分享C/C++、C#、Java、数据库等开发经验，聚焦实战技巧与AI兴趣，助力编程爱好者成长。
09-03 2103
本文深入探讨多模态学习在医学影像诊断中的应用，聚焦于结合影像数据（如CT、MRI、X光）与文本数据（如DICOM元数据、临床报告）的原理、实现细节及优化策略。结合PyTorch框架和Hugging Face生态，本文提供详细的Python代码实现、流程图、性能图表和可视化分析，适合深度学习从业者和医学影像领域研究者学习。本文涵盖多模态学习的理论基础、实践步骤、优化策略及临床应用。本文特别关注医学影像的挑战（如高维数据、模态异构性、数据稀缺），提出多模态模型的优化方案，并探讨可解释性与临床诊断的结合。
医学图像分割--U-Net的颅内血管的分割 keras 实现
skyfengye的博客
05-03 7864
最近在进行医学图像的处理研究，主要是进行了颅内血管的CT图像的分割研究。 现阶段进行深度学习的图像分割的研究基本就是几种比较成熟的几个方法，FCN，u-net deeplab等一些方法。具体方法的操作，我这里就不细说了。大家可以自己去看看论文。 现阶段进行医学图像的深度学习处理的方法，最大的瓶颈就是数据量比较少，导致网络训练不是很理想。由于进行颅内血管的数据量也比较少，所以需要进行一定的数据量...
[Transformer]DARTSformer：Memory-Efficient Differentiable Transformer Architecture Search
qq_37151108的博客
10-26 937
DARTSformer:内存高效的Transformer可微架构搜索
AbstractSection I IntroductionSection II MethodologySection III Experiment SetupSection IV ResultsSection V Related WorkSection VI
 Conclusion Paper Abstract DARTS可微架构搜索已成功用于诸多计算机视觉任务，由于Transformer的计算十分消耗内存，限制了NAS的搜索过程，因此
【爆火】TransUNet：融合Transformer与U-Net的医学图像分割神器！
weixin_62921094的博客
07-02 4728
在医学图像分割领域，传统的U-Net模型已经取得了显著成果。然而，随着Transformer在计算机视觉领域的崛起，将其与U-Net结合的TransUNet模型成为了新的热门。TransUNet是一种融合了Transformer和U-Net结构的深度学习模型，旨在提高医学图像分割的精度。它结合了Transformer的全局上下文理解能力和U-Net的局部特征提取能力，非常适合处理复杂的医学图像。然后需要生成一个包含训练数据集信息的txt文件，具体的生成代码如下，利用同样的方法生成验证集的txt文件。
[论文阅读] AI + 编码 | Agint：让LLM编码代理告别“混乱”，用图编译打通自然语言到可执行代码的任督二脉
张较瘦
11-29 739
LLM编码代理日益普及，但面临上下文管理、延迟、可靠性、可复现性及扩展性挑战。本文提出Agint——一款agentic图编译器、解释器与运行时，可将自然语言指令增量转换为类型化、效果感知的代码DAG。Agint引入TEXT→TYPED→SPEC→CODE的显式类型层，结合混合LLM/函数JIT运行时，支持动态图优化、可复现执行及与开发工具的互操作性。其DAG结构确保并发安全性与可组合性，支持小模型低延迟执行、大模型按需调用；还提供dagify、dagent等Unix风格工具链及GUI，赋能技术与非技术用户协
【论文阅读笔记】IDAQ：离线元强化学习中的分布内在线适应
iiiiii11的博客
11-29 377
本文介绍了一种解决离线元强化学习中转移-奖励分布偏移问题的新方法IDAQ，通过理论分析和实验验证展示了其优越性能。
DeepSeek-Math-V2论文阅读
weixin_49891405的博客
11-29 565
基座模型。这是一个已经经过“数学和代码推理数据”监督微调（SFT）的版本，具备了基础的推理能力。训练目标：将这个模型训练成一个Verifier（验证者）。输入输出输入：题目XiX_iXi​+ 待验证的证明YiY_iYi​。输出：验证分析文本Vi′V'_iVi′​（包含具体的评价理由）+ 提取出的分数si′s'_isi′​。
Contrastive pseudo learning for openworld deepfake attribution 超细致论文笔记，第一次读论文
weixin_72953218的博客
11-30 775
早期方法侧重 GAN 生成图像，忽略了 “身份替换 / 表情迁移” 这类更逼真、威胁性更强的伪造攻击；：大多基于封闭场景设计 —— 训练集与测试集的类别分布一致（训练时见过的类型，测试时才需要判断，无新类型），无法适配 “开放世界”（测试时会出现训练未见过的伪造类型）；：真实场景中标注的伪造人脸数据少，但未标注数据多，传统监督学习难以利用海量未标注数据。现有方法的局部性:现有方法主要关注样本的全局相似性，忽略了可能表明篡改的伪造人脸图像的局部一致性，解决方法 - 全局和局部特征。
论文笔记（一百零五）A review of learning-based dynamics models for robotic manipulation
最新发布
xzs1210652636的博客
12-01 501
本文综述了基于学习的动力学模型在机器人操作中的应用与发展。传统基于物理的动力学模型虽具泛化性，但依赖完整状态信息，而复杂场景中此类信息难以准确获取。学习型模型直接从观测数据中学习状态转移函数，能够捕捉复杂因素与不确定性，并加速实时仿真。研究显示，这些模型显著提升了机器人处理可变形物体、颗粒材料及多物体交互任务的能力。文章重点探讨了状态表示的选择对模型性能的影响，分析了不同模型结构的权衡，并讨论了其与状态估计和控制方法的结合。最后指出了该领域未来的研究方向与挑战。
【水果识别系统】Python+TensorFlow+Django+人工智能+深度学习+卷积神经网络算法
子午的博客
12-01 493
水果识别系统，基于TensorFlow搭建Resnet50卷积神经网络算法，通过对5种常见的水果图片数据集（‘圣女果’, ‘梨’, ‘芒果’, ‘苹果’, ‘香蕉’）进行训练，最后得到一个识别精度较高的模型，然后搭建Web可视化操作平台。技术栈项目前端使用Html、CSS、BootStrap搭建界面。后端基于Django处理逻辑请求基于Ajax实现前后端数据通信选题背景与意义。
Multi-Level Attention Network for Retinal Vessel Segmentation
07-11
### Multi-Level Attention Network for Retinal Vessel Segmentation Retinal vessel segmentation plays a crucial role in diagnosing various eye-related diseases, such as diabetic retinopathy and glaucoma. A multi-level attention network is one of the advanced deep learning approaches that enhance the accuracy and precision of vessel segmentation by leveraging attention mechanisms at multiple levels of the neural network architecture. #### Architecture Overview The architecture typically follows an encoder-decoder structure with additional attention modules strategically placed to emphasize relevant features during decoding. This design allows the model to focus on salient regions while suppressing irrelevant background information, which is particularly important in retinal images where vessels are thin and may blend into the background. 1. **Encoder Path**: The encoder consists of convolutional layers followed by pooling operations to extract hierarchical features from the input image. Commonly used architectures like U-Net or ResNet can serve as the backbone for feature extraction. 2. **Attention Modules**: Multiple attention blocks are integrated at different levels (shallow, intermediate, and deep) within the decoder path. These blocks compute attention maps that dynamically weigh the importance of each feature map channel and spatial location. For instance: - **Channel Attention**: Computes the significance of each channel across the entire feature map. - **Spatial Attention**: Focuses on critical spatial locations within each channel. 3. **Decoder Path**: As the feature maps pass through upsampling layers, attention-weighted features from the encoder are combined to refine the segmentation output progressively. Skip connections help preserve spatial details lost during encoding. 4. **Final Segmentation Layer**: A 1x1 convolution layer is applied at the end to produce the final binary segmentation mask indicating vessel and non-vessel pixels. #### Implementation Details Implementing a multi-level attention network involves defining both the encoder and attention-augmented decoder parts. Below is a simplified example using PyTorch: ```python import torch import torch.nn as nn import torch.nn.functional as F class AttentionBlock(nn.Module): def __init__(self, in_channels): super(AttentionBlock, self).__init__() self.conv1 = nn.Conv2d(in_channels, in_channels // 8, kernel_size=1) self.conv2 = nn.Conv2d(in_channels // 8, 1, kernel_size=1) def forward(self, x): # Channel attention att = F.relu(self.conv1(x)) att = torch.sigmoid(self.conv2(att)) return x * att class MultiLevelAttentionUNet(nn.Module): def __init__(self, in_channels=3, out_channels=1): super(MultiLevelAttentionUNet, self).__init__() self.encoder = nn.Sequential( nn.Conv2d(in_channels, 64, kernel_size=3, padding=1), nn.ReLU(), nn.Conv2d(64, 64, kernel_size=3, padding=1), nn.ReLU(), nn.MaxPool2d(kernel_size=2, stride=2) ) self.attention_blocks = nn.ModuleList([ AttentionBlock(64), AttentionBlock(128), AttentionBlock(256) ]) self.decoder = nn.Sequential( nn.ConvTranspose2d(256, 128, kernel_size=2, stride=2), nn.ReLU(), nn.Conv2d(128 + 64, 128, kernel_size=3, padding=1), nn.ReLU(), nn.ConvTranspose2d(128, out_channels, kernel_size=2, stride=2), nn.Sigmoid() ) def forward(self, x): enc_features = [] for layer in self.encoder: x = layer(x) if isinstance(layer, nn.MaxPool2d): enc_features.append(x) x = self.attention_blocks[0](x) dec_input = torch.cat((x, enc_features[-1]), dim=1) x = self.decoder(dec_input) return x ``` This implementation provides a foundational framework that can be further enhanced by adding more complex attention mechanisms or integrating pre-trained models for better performance. Additionally, training should involve loss functions tailored for segmentation tasks, such as Dice loss or Binary Cross-Entropy Loss.
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值