【论文阅读笔记】D2-Net: Dual disentanglement network for brain tumor segmentation with missing modalities

最新推荐文章于 2024-10-10 08:10:06 发布
原创 最新推荐文章于 2024-10-10 08:10:06 发布 · 1.5k 阅读 · 27 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #笔记

文章介绍了一种名为D2-Net的新型网络，通过MD-Stage的模态解耦和TD-Stage的肿瘤区域解耦，处理MRI数据中脑肿瘤分割，特别强调在缺少模态时的性能。方法包括空间频率联合学习和ADT-KD知识蒸馏。然而，模型的复杂性和对特定模态的依赖性可能限制其在资源有限环境中的应用。

Yang Q, Guo X, Chen Z, et al. D2-Net: Dual disentanglement network for brain tumor segmentation with missing modalities[J]. IEEE Transactions on Medical Imaging, 2022, 41(10): 2953-2964. 【代码开源】

论文概述

​ 本文介绍了一种名为D2-Net（双重解耦网络）的新型网络架构，用于在缺少某些模态的情况下进行脑肿瘤分割。这个网络的核心思想是通过两个阶段的解耦来处理多模态磁共振成像（MRI）数据中的脑肿瘤分割问题，特别是在缺少某些成像模态的情况下。

  1. 模态解耦阶段（MD-Stage）：在这一阶段，D2-Net使用一种名为空间频率联合模态对比学习（SFMC）的方案来解耦MRI数据中的模态特定信息。这个过程在空间和频率域中进行，旨在直接从MRI图像中分离出模态特定信息，从而使模型能够直接学习多种模态之间的关联。
  2. 肿瘤区域解耦阶段（TD-Stage）：在这一阶段，网络利用一种称为亲和引导的密集肿瘤区域知识蒸馏（ADT-KD）机制来分解各种肿瘤特定知识，并获取全面的特征以用于分割。这个阶段旨在解耦肿瘤特定特征，并利用这些特征获得更好的分割结果。

方法模型

image-20231203101031958

step1😗*ModalityDisentanglementStage(MD-Stage)：**MD-Stage的主要目标是解耦MRI数据中的模态特定信息，使模型能够在缺少某些模态的情况下仍然有效地进行脑肿瘤分割。

是MD-Stage的核心组成部分。SFMC通过结合空间域和频率域的对比学习，从MRI图像中直接分离出模态特定信息。这种方法考虑了MRI图像的空间特征（如形状、边缘等）和频率特征（如纹理、模式等）。使用编码器 E T E_T E

最低0.47元/天 解锁文章
论文笔记：D2-Net: A Trainable CNN for Joint Description and Detection of Local Features
weixin_43199832的博客
03-25 3470
论文链接：https://arxiv.org/pdf/1905.03561.pdf 代码链接：https://github.com/mihaidusmanu/d2-net 主要内容 相比传统的detect-then-describe的方法（先提取关键点，然后在关键点附近提取patch，然后用这些patch产生描述子），本文提出的D2-Net采用describe-and-detect的策略（同时提取描述子和关键点），测试显示D2-Net在困难的数据集（如较大的光照、角度变化等）上可以获得相同甚至更好的性能。
(脑肿瘤分割笔记：六十二)缺失模态下的对抗性联合训练脑肿瘤分割网络
weixin_43921949的博客
10-19 1589
解决缺失模态下的脑肿瘤分割问题。
D2-net：A Trainable CNN for Joint Description and Detection of Local Features
lyk12138的博客
03-21 507
论文阅读D2-Net: A Trainable CNN for Joint Description and Detection of Local Features
【亲测免费】 D2-Net：一款革命性的联合检测与描述局部特征的CNN模型
gitblog_00377的博客
10-10 1157
D2-Net 是一款由 Mihai Dusmanu 等人开发的创新型卷积神经网络（CNN）模型，旨在联合检测和描述图像中的局部特征。该模型在 2019 年的 CVPR 会议上首次亮相，并因其卓越的性能和创新的设计理念而备受关注。D2-Net 的核心思想是通过单一的 CNN 架构同时完成特征点的检测和描述，从而在图像匹配和三维重建等任务中展现出优异的性能。 ## 项目技术分析 D2-Net 的技...
D2-Net: A Trainable CNN for Joint Description and Detection of Local Features精读
Christo的博客
03-07 1209
D2-Net: A Trainable CNN for Joint Description and Detection of Local Features精读
读论文《ACN: Adversarial Co-training Network for Brain Tumor Segmentation with Missing Modalities》
buganything的博客
08-13 1043
论文题目;基于缺失模式的脑肿瘤分割的对抗性协同训练网络论文提出了一种新颖的对抗性协同训练网络（Adversarial Co-training Network, ACN），用于处理医学图像分割中缺失模态的问题。
论文阅读笔记——Modality-Adaptive Feature Interaction for Brain Tumor Segmentation with Missing Modalities
Joker_huo的博客
03-17 1305
在这项工作中，我们提出了具有多模态代码的模态自适应特征交互（MFI），以自适应地交互不同模态缺失情况下模态之间的特征。 MFI是一个简单而有效的单元，基于图结构和注意力机制，用于学习和交互图节点（模态）之间的互补特征。同时，所提出的多模态代码，指示每个模态是否缺失，指导MFI学习不同缺失情况下节点之间的自适应互补信息。 在U型架构的不同阶段应用MFI与多模态编码，设计了一种新型的U-Net-MFI网络，以分层和自适应的方式交互多模态特征，以进行缺失模态的脑肿瘤分割。
【论文阅读笔记】A literature survey of MR-based brain tumor segmentation with missing modalities
寸先生的AI道路
10-13 216
基于最近的进展，在这篇综述中，我们提供了一个详细的分析缺失模式的问题，在磁共振成像的脑肿瘤分割。然后，我们对目前最先进的方法进行了分类，分为五类，即基于图像合成的方法、基于潜在特征空间的模型、基于多源相关的方法、基于知识提取的方法和基于领域自适应的方法。(1)对最近的方法进行了技术概述，并将这些出版物分为五组:基于图像合成的方法、基于潜在特征空间的模型、基于多源相关性的方法、基于知识蒸馏的方法和基于领域自适应的方法。此外，我们对所审查的方法提供了简明的表格描述，并比较了它们在缺失模式的情况下的性能。
【论文阅读笔记】RAAGR2-Net: A brain tumor segmentation network using parallel processing of multiple spatial
寸先生的AI道路
12-13 1135
这一部分就是在DeepLab基础空间金字塔池化（ASPP）基础上做了微小改变，通过设置不同的膨胀率，使用空洞卷积提取不同尺度的特征，与ASPP不同，RASPP模块包括附加的残差分支，其将原始特征连接到从不同膨胀率提取的特征。Attention gate (AG) module：AG是模仿人类视觉学习算法，专注于目标位置，并学习最大限度地减少冗余特征的特征图，同时强调重要的特征信息，以执行特定的任务，从图中可以看出来就是普通的注意力加权，只是换了一种说法而已。这种不均匀性会模糊病变特征，影响神经网络学习。
D2Net笔记
qq_52491380的博客
12-13 591
探索D2-Net：一款强大的3D目标检测框架
gitblog_00046的博客
04-12 660
探索D2-Net：一款强大的3D目标检测框架 d2-net 项目地址: https://gitcode.com/gh_mirrors/d2/d2-net 在这个数字时代，计算机视觉技术已经成为各种应用程序的...
【定位系列论文阅读】D2-Net: A Trainable CNN for Joint Description and Detection of Local Features（上）
weixin_46050242的博客
10-12 1277
在这项工作中，我们解决了在困难的成像条件下找到可靠的像素级对应的问题。我们提出了一种方法，其中单个卷积神经网络扮演双重角色:它同时是密集特征描述符和特征检测器通过将检测推迟到较晚的阶段，获得的关键点比基于低级结构早期检测的传统关键点更稳定。我们表明，该模型可以使用从现成的大规模SfM重建中提取的像素对应来训练，而无需任何进一步的注释。该方法在高难度的亚琛昼夜定位数据集和InLoc室内定位基准上均获得了最先进的性能，在图像匹配和3D重建的其他基准上也具有竞争力。
D2-Net: A Trainable CNN for Joint Description and Detection of Local Features(2019)(五)
u010260681的博客
09-02 2735
本文是一个集合detector和descriptor为一体的网络，并且只需要知道匹配就能同时训练一个detector和descriptor的网络 这也是D2的来历 一些思考：1. 一些deeplearning的feature匹配其实在descriptor表现的已经很好了（感受野也比较稳定）， 所以认为瓶颈在detector上，本文主要解决的问题就是这个。 2. descriptor中融合了许多信息，那么...
论文解析三： D2-Net 用于联合描述和检测局部特征的可训练CNN
kaszxc的博客
10-08 1810
​解决在困难的成像条件下寻找可靠的像素级对应的问题。​提出一种由单一卷积神经网络发挥双重作用的方法：它同时是一个密集的特征描述符和一个特征检测器。通过将检测推迟到后期阶段，所获得的关键点比基于低层结构早期检测的传统关键点更稳定。我们证明了该模型可以使用从现成的大规模SfM重建中提取的像素对应来训练，而不需要任何进一步的注释。该方法在困难的亚琛昼夜定位数据集和InLoc室内定位基准上都获得了最先进的性能，以及在其他图像匹配和三维重建基准上具有竞争力的性能。
【定位系列论文阅读】D2-Net: A Trainable CNN for Joint Description and Detection of Local Features（下）
weixin_46050242的博客
10-12 733
我们工作背后的主要动机是开发一种能够更好地处理具有挑战性条件的局部特征方法。首先，我们对基于光照或视点变化序列的标准图像匹配任务进行了评估。然后，我们在两个更复杂的计算机视觉管道:三维重建和视觉定位中展示了我们的方法的结果。特别是，视觉定位任务是在极具挑战性的条件下进行评估的，例如根据白天图像生成的三维模型注册夜间图像 [46, 48]，以及在以弱纹理表面和重复结构为主的极具挑战性的室内场景中定位图像 [59]。我们的方法结果的定性例子如图1所示。请参阅补充材料中更多的定性例子。
【亲测免费】 D2-Net开源项目教程
gitblog_00059的博客
10-10 1001
D2-Net是一个可训练的卷积神经网络（CNN），用于联合检测和描述局部特征。该项目基于论文"D2-Net: A Trainable CNN for Joint Detection and Description of Local Features"，由Mihai Dusmanu等人于2019年发表在CVPR会议上。D2-Net在计算机视觉领域具有重要的应用价值，特别是在视觉定位和图像匹配等领域。...
D2-Net（CVPR 2019）特征点检测论文笔记
秋山丶雪绪的博客
11-22 8540
1. 前言 论文地址 代码地址   detect-then-describe：对应 sparse local features，首先通过检测器得到特征点，然后提取特征点周围的 patch 得到描述符。   缺点：差异大的图像对效果不好（昼夜、季节、弱纹理场景）   原因：描述符由较大的区域得到，而特征点由很小区域的低级信息得到（角点等），导致检测的结果不稳定。   作者表示，即使对应的特征点检测不到，但是描述符仍然可以成功匹配，所以放弃检测阶段，而是密集提取描述符，代价是匹配时间和内存消耗。   dete
D2-Net: A Trainable CNN for Joint Description and Detection of Local Features（CVPR2019）
qq_42250887的博客
05-20 1321
D2-Net 、CVPR2019 监督方法，稀疏匹配，密集匹配 特征点定位精度较差、速度慢，但对光照变化、模糊变化等鲁棒性较高
时序动作定位｜D2-Net:基于鉴别嵌入和去噪激活的弱监督动作定位（ICCV 2021）
LiRongLu_的博客
07-09 558
关于D2-Net: Weakly-Supervised Action Localization via Discriminative Embeddings and Denoised Activat论文学习，时序动作定位｜D2-Net:基于鉴别嵌入和去噪激活的弱监督动作定位。引入了一种新的损失公式，该公式联合增强了潜在嵌入的可分辨性和输出时序类激活对弱监督引起的前景背景噪声的鲁棒性。提出的公式包括一个判别和去噪损失项，以增强时序作用定位。该判别词引入了分类损失，并利用自顶向下的注意机制来增强潜在前......
3D RoI-aware U-Net for Accurate and Efficient Colorectal Tumor Segmentation
最新发布
11-07
由于没有提供关于'3D RoI-aware U-Net for Accurate and Efficient Colorectal Tumor Segmentation'的具体引用内容，以下基于一般的专业知识来阐述3D RoI-aware U-Net在精准高效结直肠肿瘤分割中的应用。 在精准高效结直肠肿瘤分割中，3D RoI-aware U-Net具有多方面的优势。在精准性上，该网络可以通过对感兴趣区域（RoI）的感知，聚焦于结直肠肿瘤所在的区域，避免无关背景信息的干扰。3D结构能够充分利用结直肠肿瘤在三维空间中的信息，相较于传统的二维分割方法，能更准确地捕捉肿瘤的空间形态、大小和位置，从而更精准地分割出肿瘤边界。例如，对于形状不规则、与周围组织界限不清晰的结直肠肿瘤，3D RoI-aware U-Net可以利用其3D卷积和RoI感知机制，从多个角度和层面分析肿瘤特征，提高分割的准确性。 在高效性方面，通过RoI感知，网络可以减少不必要的计算量。它可以先快速定位结直肠肿瘤可能存在的区域，然后只对这些区域进行精细分割，而不是对整个图像进行全面处理，从而显著提高分割效率。同时，3D RoI-aware U-Net可以采用一些优化策略，如合理设计网络结构、使用高效的卷积算法等，进一步提升计算速度，使得在短时间内完成结直肠肿瘤的分割，满足临床诊断的及时性需求。 ```python # 以下为一个简单的3D U-Net模型框架示例 import torch import torch.nn as nn class DoubleConv(nn.Module): def __init__(self, in_channels, out_channels): super(DoubleConv, self).__init__() self.conv = nn.Sequential( nn.Conv3d(in_channels, out_channels, kernel_size=3, padding=1), nn.BatchNorm3d(out_channels), nn.ReLU(inplace=True), nn.Conv3d(out_channels, out_channels, kernel_size=3, padding=1), nn.BatchNorm3d(out_channels), nn.ReLU(inplace=True) ) def forward(self, x): return self.conv(x) class ThreeD_UNet(nn.Module): def __init__(self, in_channels=1, out_channels=1): super(ThreeD_UNet, self).__init__() self.encoder1 = DoubleConv(in_channels, 64) self.pool1 = nn.MaxPool3d(kernel_size=2, stride=2) self.encoder2 = DoubleConv(64, 128) self.pool2 = nn.MaxPool3d(kernel_size=2, stride=2) self.encoder3 = DoubleConv(128, 256) self.pool3 = nn.MaxPool3d(kernel_size=2, stride=2) self.bottleneck = DoubleConv(256, 512) self.upconv3 = nn.ConvTranspose3d(512, 256, kernel_size=2, stride=2) self.decoder3 = DoubleConv(256 + 256, 256) self.upconv2 = nn.ConvTranspose3d(256, 128, kernel_size=2, stride=2) self.decoder2 = DoubleConv(128 + 128, 128) self.upconv1 = nn.ConvTranspose3d(128, 64, kernel_size=2, stride=2) self.decoder1 = DoubleConv(64 + 64, 64) self.out_conv = nn.Conv3d(64, out_channels, kernel_size=1) def forward(self, x): enc1 = self.encoder1(x) enc2 = self.encoder2(self.pool1(enc1)) enc3 = self.encoder3(self.pool2(enc2)) bottleneck = self.bottleneck(self.pool3(enc3)) dec3 = self.upconv3(bottleneck) dec3 = torch.cat((dec3, enc3), dim=1) dec3 = self.decoder3(dec3) dec2 = self.upconv2(dec3) dec2 = torch.cat((dec2, enc2), dim=1) dec2 = self.decoder2(dec2) dec1 = self.upconv1(dec2) dec1 = torch.cat((dec1, enc1), dim=1) dec1 = self.decoder1(dec1) out = self.out_conv(dec1) return out ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值