【论文阅读笔记】Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion

最新推荐文章于 2025-02-28 13:44:49 发布
原创 最新推荐文章于 2025-02-28 13:44:49 发布 · 767 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #笔记

该研究提出了一种基于特征解耦和门控融合的脑肿瘤分割算法，通过将不同模态的图像分解为模态特定和内容不变的特征，提高了在缺失数据情况下的分割精度。实验结果表明，这种方法在BRATS数据集上表现出色，优于现有最先进的分割策略。

Chen C, Dou Q, Jin Y, et al. Robust multimodal brain tumor segmentation via feature disentanglement and gated fusion[C]//Medical Image Computing and Computer Assisted Intervention–MICCAI 2019: 22nd International Conference, Shenzhen, China, October 13–17, 2019, Proceedings, Part III 22. Springer International Publishing, 2019: 447-456.

【核心思想】

通过特征解耦和门控融合技术，提高了在部分成像模态缺失时的分割准确性。方法是将输入的多种成像模态解耦为模态特定的外观代码和模态不变的内容代码，然后将它们融合为一个共享表示。这种方法增强了面对缺失数据时分割过程的鲁棒性，并在多种缺失模态的场景中显示出显著的改进。论文还使用了BRATS挑战数据集来验证方法的有效性，并展示了与当前最先进方法相比的竞争性能。

【网络结构】

image-20240116154208633

模型关键在于它采用了创新的特征解耦和门控融合技术。

  • 特征解耦部分：负责将不同成像模态（如MRI）的数据分解为模态特定的外观特征和跨模态的内容特征。

    对于外观代码，并将其设置为8位向量，假设其先验分布是中心各向同性高斯N(0,I)N(0, I)

最低0.47元/天 解锁文章
[MICCAI2019] Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion
xby的学习笔记存档处
11-02 1754
Cheng chen，CUHK Intro 针对分割问题中的模态缺失现象。利用 disentanglement的思路，将多模态的输入影像特征，解耦为modality-specific 以及 modality-invariant。在Brats18上进行实验。 Method 网络框架如下：EcE^cEc编码脑影像的内容信息，得到content code，EaE^aEa编码模态信息，得到appeara...
（脑肿瘤分割笔记：三十五）基于特征分离和门控融合的鲁棒多模态脑肿瘤分割
weixin_43921949的博客
09-11 1193
特征分离和门控融合的多模态脑肿瘤分割！！
[深度学习论文笔记]Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion
Slientsake的博客
07-11 1567
Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion 基于特征分离和门控融合的鲁棒多模式脑肿瘤分割 Published: Feb 2020 MICCAI 2019 论文：https://arxiv.org/pdf/2002.09708 摘要：        准确的医学图像分割通常需要有效地学习多模态数据中的互补信息。然
【论文阅读笔记】Scratch Each Other‘s Back: Incomplete Multi-Modal Brain Tumor Segmentation via Category Awar
寸先生的AI道路
12-06 1111
GSS框架通过在每个预测类别中形成基于模态敏感性的自我支持群体，并选择最敏感的预测作为群体领导者，从而实现模态间的有效知识蒸馏。通过在BraTS数据集上的实验，GSS框架显示出了显著的性能提升，特别是在处理缺失模态的情况下。当达到一定的迭代次数后，其效果会逐渐减弱，因为GSS框架能够在大多数位置选择正确的预测，但随机遮罩可能会丢弃这些预测，从而无法改善知识蒸馏效果。这些创新点表明，作者提出的方法在处理不完整多模态脑肿瘤分割任务时，能够有效地利用不同模态之间的互补信息，从而提高分割性能。
Incomplete Multimodal Learning（不完整多模态学习）
热门推荐
nakaizura
05-04 1万+
博主已经更新过很多多模态系列的文章了，专栏传送门：多媒体与多模态专栏。 可以发现多模态虽然效果很好，但需要保证“多个”模态都一定要存在。但是在现实世界中，部分模态的缺失是很常见的，因此不完整/缺失多模态学习（Incomplete Multimodal Learning）任务也十分值得探索。本篇博文将整理这一研究方向中一些不错的文章。 Unified subspace learning for incomplete and unlabeled multi-view data 比较早期的文章，任务是跨模态检
（二十：2020.11.06）MICCAI 2020 追踪之论文纲要（译）＜下＞
Jojo论文基地
11-06 4318
讲在前面 此文章包含第五、第六和第七部分。 论文目录 PART V 《Biological, Optical and Microscopic Image Analysis 生物，光学和显微图像分析》 生物，光学，显微成像 概要 1.Channel Embedding for Informative Protein Identification from Highly Multiplexed Images通道嵌入用于从高度复用的图像中鉴定信息性蛋白质 2.Demixing Calcium
Image Segmentation Using Deep Learning: A Survery
Fantastic
09-23 4080
图像分割综述–论文翻译 论文地址：https://arxiv.org/pdf/2001.05566.pdf 摘要 图像分割是图像处理以及计算机视频的关键内容，其应用场景非常广泛，如场景理解、医学图像分析、机器人感知、视频监控、增强显示和图像压缩等。目前关于图像分割的算法论文数量非常多。最近，由于深度学习模型在计算机视频任务中的出色表现，大量的图像分割研究工作都在开发深度学习模型在图像分割中的应用。在本次调查综述中，我们提供全面的图像分割的文献综述，涵盖了语义分割和实例分割的广泛开创性工作，其中包括全卷机像素
Robust Divergence Learning for Missing-Modality Segmentation缺失模态分割的鲁棒性散度学习
最新发布
Qisadoor的博客
02-28 911
单模态并行处理：论文提出了一种基于3D U-Net的并行网络架构，将每个模态的数据独立输入到共享的主干网络中进行处理。这种方式保留了每个模态的独特信息，即使某些模态缺失，模型仍能利用可用模态进行分割。 动态共享框架：为了适应模态可用性的变化，引入了一个动态共享框架，根据输入模态的组合调整网络参数，使模型能够在不同缺失场景下灵活工作。 Hölder散度和互信息优化：提出了一种基于Hölder散度和互信息的损失函数，用于评估预测与标签之间的差异。Hölder散度因其灵活性和鲁棒性被选中，适用于复杂和非对称数据；
M2FT rans: Modality-Masked Fusion T ransformer for Incomplete Multi-Modality Brain T umor Segmentati
weixin_42489272的博客
10-31 444
一种Transformer融合策略，用于处理具有更丰富全局信息的脑肿瘤分割的不完整多模态场景具有可学习融合令牌的Modality-masked fusion transformers，用于有效的特征融合，同时最大限度地减少缺失模态的负面影响空间注意力和通道融合Transformer自适应地重新加权模态，以避免在不完整/缺失模态问题下的主导模态跨模态的全局特征、屏蔽缺失模态的负面影响、减少模态特定特征中的冗余，加权每个模态及其模态内特征。
《缺失MRI模态下的脑肿瘤分割的潜在相关表示学习》| 文献速递-深度学习肿瘤自动分割
weixin_38594676的博客
06-04 632
表VI 在BRATS 2019数据集上，对不同可用模态的不同组合进行了不同方法（Dice %）的稳健比较，◦表示缺失的模态，•表示存在的模态，↑表示CM的改进，WOCM表示我们的方法没有CM，OUR表示我们的方法使用了CM，粗体结果表示最佳得分。表V 对BRATS 2018数据集上不同可用模态的不同组合进行了不同方法（Dice %）的稳健比较，◦表示缺失的模态，•表示存在的模态，↑表示CM的改进，WOCM表示我们的方法没有CM，OUR表示我们的方法使用了CM，粗体结果表示最佳得分。
论文阅读笔记——SMU-Net:面向缺失模态脑肿瘤分割的样式匹配U-Net
Joker_huo的博客
01-19 2150
本文提出了一种基于风格匹配U-Net (SMU-Net) 的MRI图像脑肿瘤分割方法。采用的协同训练方法利用内容和风格匹配机制，将全模态网络中的信息特征提取到缺失的模态网络中。
(脑肿瘤分割笔记：六十二)缺失模态下的对抗性联合训练脑肿瘤分割网络
weixin_43921949的博客
10-19 1595
解决缺失模态下的脑肿瘤分割问题。
论文阅读笔记——M3AE:缺失模态下脑肿瘤分割的多模态表征学习
Joker_huo的博客
01-21 3071
这篇文章提出将多模态掩码的自编码器、基于模型反演的模态补全和存储高效的自蒸馏集成在编码器-解码器的架构中。
用于具有缺失模态的脑肿瘤分割的模态自适应特征交互
qq_45745941的博客
05-21 1311
多模态磁共振成像（MRI）在脑肿瘤分割中起着至关重要的作用。然而，缺失模态是临床实践中常见的现象，导致肿瘤分割性能下降。考虑到模态之间存在互补信息，模态之间的特征交互对肿瘤分割很重要。方法本文提出了具有多模态代码的模态自适应特征交互（MFI），以在不同模态缺失情况下自适应地交互模态之间的特征。MFI是一个简单而有效的单元，基于图结构和注意力机制，用于学习和交互图节点（模态）之间的互补特征。同时，所提出的多模态代码指示每个模态是否缺失，引导MFI学习不同缺失情况下节点之间的自适应互补信息。
【亲测免费】 推荐开源项目：Gated Fusion Network (GFN) —— 图像去模糊与超分辨率的完美结合
gitblog_00016的博客
06-16 847
???? 推荐开源项目：Gated Fusion Network (GFN) —— 图像去模糊与超分辨率的完美结合 在图像处理领域，将低质量图片转化为清晰、高分辨率图像是一个永恒的研究主题。今天，我们向大家推荐一款功能强大且备受好评的开源项目——Gated Fusion Network（GFN）。 1、项目介绍 GFN是一个由Xinyi Zhang等研究者开发的深度学习模型，旨在实现联合图像去模糊和超分...
学习统一的Hyper - network用于多模态MR图像合成和缺失模态的肿瘤分割
weixin_42489272的博客
03-06 1599
引入额外的分类器，预测提取融合特征时每个模态是否可用，对抗性地迫使超编码器和融合块产生无法被分类器正确分类的融合特征，即保证提取到的融合特征再公共特征空间中。利用提取到的公共特征重建多模态MR，将特征和完整的模态MR图像合并，输入到分割网络来估计肿瘤标签。可以自适应地交互和融合从不同输入模态中提取的多模态特征。每个图节点对应每个模态的特征，节点数量动态适应可用模态的数量，边建模了每一对可用模态之间的联系。将模态补全作为正则化，将补全后的图像作为分割的输入，将补全过程中提取的共同特征作为额外的分割输入。
[论文阅读笔记]Feature fusion and latent feature learning guided brain tumor segmentation and missing modal
寸先生的AI道路
11-21 347
首先，可用的MR模式被输入到单独的编码器，以学习每个模式的独立特征。然后，提出一种多模态特征融合模型，提取用于分割的信息特征，包括跨模态融合模块和多尺度融合模块。此外，利用基于空间一致性的潜特征学习模块，利用潜多模态相关，学习相关特征，有利于分割。然后，实现多任务学习路径，包括缺失模式的模态生成任务、可用模式的模态重建任务和脑肿瘤分割任务。，这组相关系数描述了不同模态之间的非线性关系，可以用于表达某个模态与相关特征之间的关系。这样，网络就可以学习交叉模态特征，增强重要特征，抑制弱特征。
Gated Fusion Network for Single Image Dehazing
女王の专属领地
04-19 7118
动机    在dehaze的问题里，其需要解决两个问题，一个是由于大气光造成的颜色投射出现差异，一个是其传输过程中所造成的可视效果衰减。因此论文通过对原始图像进行处理，尽可能的分别恢复出其颜色投射、可视效果，同时由于可视效果太暗，再增加伽马矫正，将这三个图像和原始的image输入，这就是这篇论文的动机。 方法    网络的核心思想就是学习confidence特征图去处理从原始图像获得的...
【论文阅读笔记】Modality-Specific Information Disentanglement from Multi-parametric MRI for Breast Tumor Seg
寸先生的AI道路
01-17 849
但最终目标不是生成几乎相同的图像，只希望合成图像能够保留原始结构信息，但具有其他模态样式，例如肿瘤区域的 ADC 模态中的低强度和 T2w 模态中的高强度。置信度分数的计算考虑了当前模态与其他模态（例如DCE-MRI和ADC）的相互关系，从而确保每个模态贡献的信息是基于其与其他模态相比的相对重要性和可靠性。：提出了一种新的特定模态信息解耦（MoSID）框架，该框架能够有效地从多参数MRI中提取并利用跨模态和内模态的注意力图，这些图作为指导肿瘤分割的先验知识。步骤 3 利用特定于模态的信息来增强分割性能。
patchwork++: fast and robust ground segmentation solving partial under-segme
04-30
Patchwork是一种快速、强大的地面分割算法，它能解决局部欠分割问题。 地面分割是机器人感知和导航中的一个基本问题。它的目的是将地面从场景中分割出来，以便机器人可以识别其上的障碍物并进行安全导航。...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值