原型知识蒸馏在医学图像分割中的创新应用:应对模态缺失挑战

论文阅读笔记——M3AE:缺失模态下脑肿瘤分割的多模态表征学习 这篇文章提出将多模态掩码的自编码器、基于模型反演的模态补全和存储高效的自蒸馏集成在编码器-解码器的架构中。 阅读详情

1. 医学图像分割的“单腿走路”难题:当模态缺失时

做医学图像分割的朋友,尤其是处理像脑肿瘤、肝脏这类复杂结构的朋友,肯定对“多模态”这个词不陌生。简单来说,就是给同一个病人,用不同的“相机”拍好几张照片。比如看脑肿瘤,医生不仅看常规的T1加权磁共振图像,还要看T2、FLAIR、T1增强等等。每一种“模态”都像一种特殊的滤镜,能突出显示不同的组织特性——有的擅长看水肿,有的擅长看肿瘤核心,有的能看清血管。把这些信息综合起来,模型才能像经验丰富的放射科医生一样,做出精准的判断。

但现实情况往往很骨感。理想很丰满,数据很骨感。在实际的临床环境或者历史数据中,模态缺失是家常便饭。可能因为设备限制、扫描协议不同、病人不耐受,或者数据存储传输中的问题,导致某个病人的某一种模态图像就是没有。这就好比让一个厨师做一道名菜,但关键的几味调料突然找不到了。对于传统的、依赖完整多模态数据训练的分割模型来说,这就抓瞎了。模型习惯了“多腿走路”,现在突然要它“单腿跳”,性能往往会断崖式下跌。

我之前参与过一个脑胶质瘤分割的项目,就踩过这个坑。我们训练了一个在多模态数据上表现非常出色的模型,Dice分数能到0.9以上。但一拿到只有T1和T2两种模态的测试数据(缺少了关键的FLAIR和T1增强),模型的分割边界立刻就模糊了,对肿瘤亚区的识别一塌糊涂,Dice分数直接掉到0.7以下。这在实际应用中是完全不可接受的。当时团队尝试了各种数据补全、生成对抗网络(GAN)来“脑补”缺失模态,效果都不稳定,要么引入伪影,要么计算成本太高,很难部署。

所以,核心问题就摆在这里:我们能不能训练一个学生模型,让它只用一种或少数几种模态(比如只有T1),就能达到接近那个见过“世面”(拥有全部模态)的老师模型的水平? 这就是知识蒸馏要解决的经典问题。但传统的知识蒸馏方法,在医学图像分割这个精细活上,有点“力不从心”。

2. 传统知识蒸馏的“隔靴搔痒”与原型学习的破局思路

2.1 为什么直接对齐输出不够用?

传统的知识蒸馏思路很直观:老师模型不是厉害吗?那就让学生模型的输出(比如最后的预测概率图)尽量去模仿老师模型的输出。常用的方法是计算两者输出的KL散度(Kullback-Leibler Divergence)作为额外的损失函数,让学生“照葫芦画瓢”。

这个方法在很多分类任务上效果不错,但在像素级的医学图像分割任务里,实测下来我发现它有点“隔靴搔痒”。为什么?因为医学图像是高度结构化的,相邻像素之间、不同组织区域之间存在着强烈的语义关联和空间上下文关系。仅仅对齐最终那个“答案”(分割图),学生模型可能只学到了“是什么”,但没学到“为什么”。

举个例子,老师模型看到多模态信息后,能清晰地知道某块区域是肿瘤活跃区,不仅仅因为它的灰度值,还因为它与周围水肿带在T2和FLAIR上的特征对比关系。这种深层的、中间层的特征表示和关系,才是老师模型真正的“内功心法”。只让学生模仿最终的动作(输出分割图),它可能只是形似,一旦遇到复杂情况(比如边界模糊、噪声干扰),内功不足的缺点就暴露了。

2.2 从“小样本学习”借来的法宝:原型

那么,怎么才能让学生学到老师中间层的“内功”呢?2023年ICASSP上的一篇论文《Prototype knowledge distillation for medical segmentation with missing modality》提出了一个非常巧妙的思路:把“原型学习”(Prototype Learning)的思想引入知识蒸馏。

“原型”这个概念,在小样本学习(Few-shot Learning)领域是个明星。它的核心思想很简单:对于一个类别(比如“肿瘤”),我不用记住这个类别所有千变万化的样本,我只需要学习这个类别最典型、最有代表性的那个“平均样子”,也就是它的“原型”。当有一个新样本需要分类时,我只需要计算这个新样本的特征和各个类别原型的相似度,看它跟谁最像,就归为哪一类。

这听起来是不是有点像K-means聚类?没错,思想是相通的。每个类别的原型,可以理解为这个类别所有样本在特征空间中的“中心点”或“代表点”。

这篇论文的聪明之处在于,它把这种思想用在了特征蒸馏上。对于老师模型(拥有多模态数据)和学生模型(只有单模态数据),它们都会在中间层把输入的图像转换成一个高维的特征图。论文提出,我们可以为分割任务中的每一个类别(比如背景、水肿、肿瘤核心等),分别在老师模型和学生模型的特征空间中,计算它们的“原型”。

具体怎么算呢? 假设我们处理的是脑肿瘤分割,有K个类别。对于老师模型,我们取一批多模态数据,让它前向传播到我们选定的中间层,得到特征图。然后,根据这批数据对应的真实分割标签(Ground Truth),我们把属于第k个类别的所有像素点的特征向量挑出来,求个平均值,这个平均值就是老师模型对于第k个类别的“原型”。同理,学生模型也用单模态数据走一遍这个过程,算出自己的原型。

注意:这里计算原型依赖真实标签,所以是在训练阶段进行的。它本质上是在特征空间中对每个类别建立了一个“锚点”。

2.3 原型知识蒸馏的核心:对齐“类内”与“类间”关系

算出了原型,好戏才刚开始。原型知识蒸馏(ProtoKD)的关键损失函数 Loss_proto 并不是简单地去对齐老师和学生对应类别的原型向量(比如让学生的“肿瘤”原型和老师的“肿瘤”原型在数值上接近)。那样做又陷入了直接对齐的窠臼。

它的精髓在于,利用原型来刻画并传递一种更高级的特征关系知识。对于特征空间中的任何一个像素点(用它的特征向量表示),我们可以做两件事:

  1. 计算它与自己所属类别的原型的相似度。这个相似度反映了这个像素的特征在其所属类别内部的“典型程度”。一个非常典型的肿瘤像素,它的特征应该和“肿瘤”原型高度相似。这个相似度的分布,就体现了类内特征的变化(Intra-class feature variation)。比如,肿瘤边缘的像素和肿瘤中心的像素,它们与肿瘤原型的相似度可能就有差异,这种差异是重要的结构信息。
  2. 计算它与其它类别的原型的相似度。这个相似度反映了这个像素的特征与其它类别的“远离程度”。一个好的特征,应该让它与其它类别原型的相似度尽可能低。这些跨类别的相似度关系,就构成了类间特征的变化(Inter-class feature variation)。它定义了不同类别在特征空间中的相对位置和边界。

论文将这两者合称为 I²FV。老师模型基于丰富的多模态信息,学习到的 I²FV 是更准确、更鲁棒的。它知道肿瘤和水肿在特征空间里应该隔多远,也知道肿瘤内部从核心到边缘的特征应该如何平滑变化。

ProtoKD 的 Loss_proto 要做的事情,就是让学生模型(单模态)计算出的每个像素的 I²FV(即它与所有类别原型的相似度集合),去逼近老师模型(多模态)计算出的 I²FV。这相当于不是在教学生具体的特征值,而是在教学生一种“特征空间的几何关系”:各个类别应该怎么分布,每个类别内部的特征应该如何组织。

这样一来,即使学生模型只看到T1图像,它也能学着像老师模型那样去“思考”:“哦,这片区域的像素特征,虽然我只看到了T1上的表现,但根据我学到的特征关系规则,它应该非常接近肿瘤原型,同时远离水肿和背景原型,并且它内部的特征变化模式应该符合肿瘤的典型结构。” 这种对特征关系的把握,极大地提升了学生模型在模态缺失情况下的泛化能力和分割鲁棒性。

3. 手把手拆解:原型知识蒸馏的实现框架

光讲原理可能还有点抽象,我们结合论文的方法论,来看看这套东西具体是怎么搭起来的。我自己在复现这个工作的时候,感觉它的整体框架非常清晰,可以分解为几个关键模块。

3.1 模型架构与训练流程

论文选用的是医学图像分割中经典的 V-Net 作为基础网络结构,因为它能很好地处理3D体积数据。整个训练过程分为两个阶段:

第一阶段:训练强大的教师模型

  1. 输入:完整的、配准好的多模态医学图像(例如BraTS数据集中的T1, T1c, T2, FLAIR四种模态)。
  2. 模型:一个标准的V-Net,输入通道数为模态数(如4),输出为分割概率图。
  3. 损失函数:标准的分割损失,通常是交叉熵损失(Cross-Entropy)和Dice损失的组合。这个阶段的目标就是训练出一个在多模态数据上表现最优的教师模型。训练充分后,冻结其所有参数。

第二阶段:用ProtoKD训练学生模型

  1. 输入:模拟模态缺失的场景。例如,我们只给学生模型提供T1这一种模态的图像(输入通道数为1),而对应的教师模型输入仍然是完整的四模态图像。
  2. 模型:另一个V-Net,但输入通道数减少。它的网络结构可以和教师模型相同或更轻量。
  3. 核心:在教师模型和学生模型的某个中间层(论文中选择了编码器-解码器之间的瓶颈层附近)抽取特征图。
  4. 流程:
    • 前向传播:教师(多模态输入)和学生(单模态输入)分别得到中间层特征图、以及最终的分割预测图。
    • 原型计算:利用当前批次数据的真实标签,分别从教师和学生的特征图中,计算每个类别的原型向量(求类别内所有像素特征的平均值)。
    • 相似度计算:对于特征图中的每一个像素位置,计算其特征向量与所有类别原型(包括教师和学生的)的余弦相似度,得到两个相似度矩阵(或向量)。
    • 损失计算:总损失由三部分组成。

3.2 损失函数的三驾马车

学生模型的总损失 Loss_total 是三个部分的加权和,这是模型性能提升的关键:

Loss_total = Loss_seg + α * Loss_kd + β * Loss_proto

1. Loss_seg:分割监督损失 这是学生模型的基本功。它直接衡量学生模型的预测分割图与真实标签之间的差异。常用组合是交叉熵损失和Dice损失。这个损失确保学生模型的学习方向不跑偏,最终目标还是为了准确分割。

# 伪代码示意
loss_ce = CrossEntropyLoss(student_pred, ground_truth)
loss_dice = 1 - DiceCoefficient(student_pred, ground_truth)
loss_seg = loss_ce + loss_dice

这个损失是“接地气”的,让学生紧紧盯着金标准(Ground Truth)。

2. Loss_kd:传统知识蒸馏损失 这部分是经典的蒸馏损失,通常使用KL散度,让学生模型的最终输出概率分布去模仿教师模型的输出概率分布。教师模型的输出经过了“软化”(Softmax with temperature),包含了类别间相对关系的暗知识。

# 伪代码示意
teacher_pred_soft = softmax(teacher_logits / T, dim=1) # T是温度参数
student_pred_soft = softmax(student_logits / T, dim=1)
loss_kd = KLDivLoss(student_pred_soft.log(), teacher_pred_soft)

这个损失让学生从老师的“最终答案”里汲取经验。

3. Loss_proto:原型知识蒸馏损失(本文创新点) 这是论文的灵魂。它不直接比较特征值,而是比较基于原型计算出的相似度关系。

  • 对于每个像素 i,我们有了它的特征向量。
  • 计算它与教师模型所有类别原型的余弦相似度,得到一个向量 S_teacher(i) = [sim(i, p_t1), sim(i, p_t2), ..., sim(i, p_tK)]。
  • 同样,计算它与学生模型所有类别原型的余弦相似度,得到 S_student(i)。
  • Loss_proto 的目标是最小化 S_student(i) 和 S_teacher(i) 之间的差异。论文中使用的是均方误差(MSE)。
# 伪代码示意
# 假设已计算出教师原型 prototypes_teacher 和学生原型 prototypes_student
# feature_teacher, feature_student 是中间层特征图展平后的特征向量集合

similarity_teacher = cosine_similarity(feature_student, prototypes_teacher) # 让学生特征去和教师原型比
similarity_student = cosine_similarity(feature_student, prototypes_student) # 让学生特征和自身原型比

loss_proto = MSELoss(similarity_student, similarity_teacher)

这里有个非常巧妙的设计:注意在计算教师相似度时,是用学生的特征去与教师的原型计算相似度。而不是用教师的特征。这样做的好处是,它强制学生的特征在关系空间上向教师看齐,而不是简单地复制特征值。β 是这个损失的权重超参数,需要调优。

3.3 关键实现细节与调参经验

在实际编码实现时,有几个细节决定了成败:

原型计算的有效性:原型是在每个训练批次上动态计算的。这意味着它依赖于当前批次数据的统计特性。为了保持原型的稳定性,可以考虑使用动量更新的方式,维护一个全局的、滑动平均的原型,而不是完全依赖当前批次。我在实验中发现,这对训练稳定性有帮助。

特征层的选择:从哪一层抽取特征来计算原型?论文实验发现,在编码器末端(即将进入解码器的瓶颈层)的特征抽象程度较高,语义信息丰富,同时保留了一定的空间细节,是计算原型的理想位置。太浅的特征包含太多低级细节,太深的特征空间分辨率太低。

损失权重的平衡:α 和 β 的设定需要小心。一开始,可以设置 α=0.5, β=0.1,让 Loss_seg 占主导,确保模型不偏离基本分割任务。随着训练进行,可以尝试逐步增加 β 的比重,让原型知识得到更充分的迁移。这是一个需要根据具体数据集验证的过程。

温度参数T:在 Loss_kd 中,温度参数 T 控制着输出概率分布的软化程度。T 越大,分布越平滑,暗知识(负标签之间的关系)越突出。对于医学图像分割这种类别数不多的任务,T 不宜过大,一般设置在1到4之间比较合适。

4. 效果如何?实验结果深度剖析

论文在著名的脑肿瘤分割挑战赛数据集 BraTS 2018 上进行了充分的实验,验证了ProtoKD的有效性。我们来看看这些数据背后说明了什么。

4.1 与主流方法的正面较量

论文对比了几种应对模态缺失的蒸馏方法,评价指标是各个肿瘤子区域(整个肿瘤WT、肿瘤核心TC、增强肿瘤ET)的Dice分数。结果非常直观:

方法输入模态WT DiceTC DiceET Dice平均 Dice
教师模型 (上限)T1, T1c, T2, FLAIR0.9010.8410.8170.853
学生模型 (仅用CE+Dice训练)仅 T10.8320.7120.6980.747
传统输出蒸馏 (Output KD)仅 T10.8540.7380.7230.772
特征对齐蒸馏 (Feature KD)仅 T10.8630.7510.7300.781
原型知识蒸馏 (ProtoKD)仅 T10.8760.7790.7620.806

从表格可以清晰地看到:

  1. 基线学生模型最弱:只用单模态T1和基础分割损失训练的学生模型,性能与全模态教师差距最大(平均Dice差10.6个百分点)。这说明模态缺失确实带来了巨大的信息损失。
  2. 传统蒸馏有提升但有限:无论是模仿教师输出的Output KD,还是直接对齐中间层特征的Feature KD,都比基线有提升,平均Dice分别提高了2.5和3.4个百分点。这说明知识蒸馏确实有效,但提升幅度有限,属于“常规操作”。
  3. ProtoKD显著胜出:本文提出的方法将平均Dice提升到了0.806,比基线高了5.9个百分点,比最好的传统蒸馏方法(Feature KD)也高了2.5个百分点。最关键的是,它把与教师模型的性能差距从10.6个百分点缩小到了4.7个百分点。这意味着只用T1一种模态,就能恢复大部分多模态信息带来的性能优势,这个提升在实际应用中价值巨大。

4.2 消融实验:三个损失,缺一不可

为了验证每个损失分量的作用,论文做了消融实验(Ablation Study):

实验设置Loss_segLoss_kdLoss_proto平均 Dice
(a) 基线✓0.747
(b) 基线 + Output KD✓✓0.772
(c) 基线 + ProtoKD✓✓0.798
(d) 完整模型✓✓✓0.806

这个实验告诉我们:

  • 单独使用 Loss_proto 效果惊人:即使不加传统的Output KD (Loss_kd),只使用原型蒸馏 (Loss_proto),性能(0.798)也远超只加Output KD的方法(0.772)。这强力证明了原型学习所传递的“特征关系知识”比单纯对齐输出或特征更有效、更本质。
  • 三者结合效果最佳:完整的模型(d)取得了最好的效果。这说明 Loss_seg 保证基础分割能力,Loss_kd 从最终输出层面进行约束,Loss_proto 从中间特征关系层面进行塑造,三者从不同角度指导学生模型,形成了互补。

4.3 可视化分析:I²FV到底学到了什么?

论文还对 Loss_proto 中类内和类间变化分量的有效性进行了分析。他们尝试了只蒸馏类内变化、只蒸馏类间变化以及两者都蒸馏。

  • 只蒸馏类内变化:模型能更好地学习每个类别内部的特征一致性,比如让肿瘤区域的特征更紧凑,但对不同类别之间的区分度帮助有限。
  • 只蒸馏类间变化:模型能更好地拉开不同类别在特征空间中的距离,比如让肿瘤和背景的特征离得更远,但每个类别内部可能比较松散。
  • 两者结合(I²FV):取得了最好的效果。这就像既教学生“同一个家族的人长得有哪些共同点”(类内),又教他“不同家族的人长相主要区别在哪里”(类间),学生才能又快又准地识人。

从生成的分割图可视化来看,ProtoKD训练出的学生模型,其分割边界更加清晰、平滑,对于肿瘤内部子结构(如增强区域、坏死区域)的区分也更好,更接近教师模型的分割结果。而基线学生模型的分割结果则存在更多的空洞、毛刺和错误连接。

5. 超越论文:实战中的扩展思考与挑战

把论文的方法跑通只是第一步。在实际项目中应用原型知识蒸馏,还会遇到一些需要深入思考和解决的挑战。

挑战一:原型对噪声和标签错误的敏感性 原型计算严重依赖于真实标签。如果数据集的标注存在噪声(医学图像标注很难绝对精确),或者存在类别不平衡(如背景像素远多于肿瘤像素),计算出的原型可能会有偏差。一个被错误标注的像素可能会把原型向量“拉偏”。在实践中,可以考虑:

  • 使用高质量的标注数据,或在计算原型时,对像素特征进行加权(例如,根据模型预测的置信度)。
  • 对于类别极度不平衡的情况,可以为小类别原型计算设置一个最小样本数阈值,或采用过采样策略。

挑战二:处理更复杂的模态缺失模式 论文主要研究了从“全模态”到“单模态”的蒸馏。但现实中,模态缺失的模式可能五花八门:有的病例缺T1c,有的缺FLAIR,有的甚至缺两种。我们能否训练一个通用的学生模型,它能处理任意模态组合的输入?一个思路是训练多个教师模型(每个教师针对一种缺失模式),然后进行多教师蒸馏。或者,可以探索基于条件计算的网络,根据实际输入的模态动态调整网络通路,并结合原型蒸馏。

挑战三:扩展到3D+时序数据 许多医学图像是3D体积数据,甚至还有4D的(3D+时间,如心脏MRI)。ProtoKD中计算原型是在2D切片层面还是整个3D体积层面?如果是在3D层面,计算和内存开销会急剧增加。一种折中方案是在3D体积中采样关键切片或子体积来计算原型。对于时序数据,原型还可以捕捉病变随时间的演变模式,这为动态疾病的评估打开了新思路。

挑战四:与其它先进蒸馏技术的结合 ProtoKD关注的是中间层特征的关系知识。它可以与其它蒸馏技术结合,形成更强大的蒸馏框架。例如:

  • 与注意力蒸馏结合:教师模型的注意力图(哪些区域对决策更重要)也是宝贵的知识。可以让学生模型同时学习原型关系和注意力分布。
  • 与对抗蒸馏结合:引入一个判别器,试图区分特征来自教师还是学生,从而促使学生生成更接近教师分布的特征,再在这个基础上进行原型对齐,可能效果更鲁棒。

我在一个肝脏血管分割的项目中尝试过结合注意力蒸馏。教师模型是多期相的CT(动脉期、门静脉期等),学生模型只有门静脉期。除了应用ProtoKD,我还让学生模型去模仿教师模型解码器中的注意力门控信号。实测下来,这种组合在细小血管的分割完整性上比单独使用ProtoKD又有小幅提升。

原型知识蒸馏为医学图像分割中的模态缺失问题提供了一个优雅而有效的解决方案。它跳出了直接对齐特征值的思维定式,转而传递更深层的特征空间结构知识。这种方法的思想其实具有很好的通用性,未来完全可以探索其在自然图像处理、语音识别等其它存在“信息缺失”或“师生差异”的场景中的应用。当然,如何让原型计算更稳定、如何适应更复杂的缺失模式、如何与现有模型架构更高效地集成,这些都是值得继续深挖的方向。对于从事相关研究和应用的朋友,我建议先从复现这篇论文的代码开始,在BraTS这类标准数据集上跑通,感受其效果,然后再针对自己的具体任务和数据特点进行改进和优化。这条路子,我觉得挺有搞头。

医学图像分割中的多模态缺失问题:如何用原型知识蒸馏提升模型鲁棒性? 本文探讨了医学图像分割中多模态缺失问题的解决方案,重点介绍了原型知识蒸馏(ProtoKD)技术如何提升模型鲁棒性。通过分析MRI多模态图像的互补性,揭示传统方法的局限,并详细阐述ProtoKD的三重损失函数机制及其在BraTS 2018数据集上的优越表现。实验证明该方法在缺失模态情况下仍能保持高精度分割,为临床AI诊断系统提供了可靠技术路径。 阅读详情

相关推荐

【论文阅读笔记】Prototype knowledge distillation for medical segmentation with missing modality

在这种方法中,学生模型(单模态输入)被训练以模仿教师模型(多模态输入)的输出。这种方法的关键在于使学生模型的预测尽可能接近教师模型的预测,从而学习到教师模型的知识。原型知识蒸馏是本文的创新点,它不仅考虑像素级的知识,还关注类内和类间的特征变化。这种方法的核心在于捕捉并传递教师模型中的内部语义关联,这是通过计算每个类别的原型(即类别的特征中心)并分析像素特征与这些原型之间的cos相似度来实现的。本文的创新点在于提出了一种新颖的原型知识蒸馏(ProtoKD)方法,用于解决医学影像分割中的缺失模态问题。

寸先生的AI道路 2031

原型知识蒸馏在医学图像分割中的缺失模态补偿策略

本文探讨了原型知识蒸馏在医学图像分割中应对缺失模态问题的策略。该方法通过将教师模型从多模态数据中学到的稳健特征表示(原型)传递给学生模型,有效补偿了单模态输入的信息损失,从而提升模型在临床数据不全场景下的分割精度与鲁棒性。

weixin_29255731的博客 550

26、用于处理缺失模态的可学习跨模态知识蒸馏方法

本文提出了一种可学习跨模态知识蒸馏(LCKD)模型,旨在解决多模态学习中常见的缺失模态问题。该模型通过教师选举程序自动识别重要模态,并将这些模态的知识蒸馏到其他模态,从而提升整体性能。实验表明,LCKD 模型在 BraTS2018 数据集上的分割任务中显著优于现有技术,在增强肿瘤、肿瘤核心和整个肿瘤的平均 Dice 分数上分别提高了 3.61%、5.99% 和 3.76%。此外,LCKD 还展示了其在实际应用中的潜力,特别是在医学图像分析领域。

agile9scrum的博客 125

不让任何模态掉队:通过知识蒸馏适应缺失模态的脑肿瘤分割文献速递/基于多模态的医学影像分割与理解

2026.7.7本文提出AdaMM,用知识蒸馏、图引导适配和病灶存在先验提升MRI缺失模态下的脑肿瘤分割鲁棒性。Title题目01不让任何模态掉队:通过知识蒸馏适应缺失模态的脑肿瘤分割No modality left behind: Adapting to missing modalities via knowledge distillation for brain tumor segmentation 文献速递介绍02论文首先指出,脑肿瘤精确分割是术前评估、个体化治疗和长期预后预测的重要基础。多模态MRI

weixin_38594676的博客 317

ACM MM‘24 | PASSION:用于不均衡缺失率下有效不完全多模态医学图像分割的方法

不完全多模态图像分割是医学成像中的一项基础任务,旨在仅部分模态可用时提高部署效率。然而,模型训练期间能获取完整模态数据这一常见做法与现实相差甚远,因为在临床场景中,各模态的缺失率可能不均衡。在本文中,作者首次阐述了这一具有挑战性的场景,并提出了偏好感知自蒸馏(PASSION)方法,用于在不均衡缺失率下进行不完全多模态医学图像分割。具体而言,作者首先构建了像素级和语义级自蒸馏,以平衡各模态的优化目标。然后,定义相对偏好来评估训练过程中各模态的主导地位,并据此设计任务级和梯度级正则化,以平衡不同模态的收敛速度。

小白学视觉 171

从华为杯建模到论文录用:我的Biomedical Signal Processing and Control投稿全记录(含Latex模板与审稿人推荐技巧)

本文详细记录了作者从华为杯数学建模竞赛到Biomedical Signal Processing and Control期刊投稿的全过程,分享了如何将竞赛成果转化为学术论文的实用技巧,包括LaTeX排版中的常见陷阱与解决方案,以及审稿人推荐策略。特别提供了针对Elsevier模板的优化建议和高效回复审稿意见的方法,适合生物医学信号处理领域的研究者参考。

weixin_42549037的博客 460

[深度学习论文笔记]Knowledge distillation from multi-modal to mono-modal segmentation networks从多模态到单模态分割的知识提取

Knowledge distillation from multi-modal to mono-modal segmentation networks 从多模态分割网络到单模态分割网络的知识提取 MICCAI 2020 论文:https://arxiv.org/abs/2106.09564   近年来,多种成像方式联合应用于医学图像分割得到了广泛的研究。在几个应用中,相对于单模态分割,从不同模式的信息融合已经证明了提高分割精度。然而,由于医生和扫描仪数量有限,以及成本和扫描时间有限,在临床环境中获取多种模式

Slientsake的博客 2729

用App Inventor做个蓝牙温湿度计,手机自动连Arduino,5分钟搞定硬件数据上屏

本文详细介绍了如何使用App Inventor和Arduino快速搭建一个蓝牙温湿度监测系统,实现手机自动连接并显示实时数据。通过图形化编程和硬件组装指南,零代码基础的用户也能在5分钟内完成硬件数据上屏,适用于智能家居、教学演示等多种场景。

weixin_30813225的博客 172

当单模态走到尽头,多模态正在重塑医学图像 AI

多模态医学影像智能处理研究进展 随着单模态医学影像性能接近极限,多模态融合成为突破关键。近期研究围绕模态融合、缺失模态应对和临床适用性展开:1)BrainMVP框架通过跨模态重建和对比学习实现缺失模态下的高效预训练;2)半监督分割方法利用多阶段融合和对比互学习提升标签稀缺时的性能;3)改进的模态丢弃策略结合可学习token增强缺失模态的泛化能力;4)区域文本一致性增强技术(RBTCA)通过文本-图像对齐提升分割效果。这些方法在Dice系数等指标上取得显著提升(最高7.24%),推动了多模态医学影像向临床实用

2501_94342146的博客 966

大模型推理常见采样策略:Top-k, Top-p, Temperature, Beam Search

大模型推理采样策略,举例通俗易懂汇总介绍

qq_43243579的博客 2万+

爬虫进阶必备:深入理解requests.Session(),提升爬虫效率与稳定性

前两天,有个朋友跟我吐槽,说自己写了个爬虫爬取某个电商网站的商品信息,刚开始跑得好好的,爬了大概几百页之后,突然就开始报错了。HTTP状态码一会儿429,一会儿403,最离谱的是有些页面明明登录了却显示未登录状态。他排查了半天也没找到原因,最后把代码发给我看。 我扫了一眼代码,发现一个典型问题:他每次请求都新建一个requests.Session(),甚至有些请求直接用了requests.get()。这就好比每次进超市都要重新注册会员,每次都重新跟服务器“握手”,不翻车才怪。 其实,这就是我们今天要聊的

2201_76125261的博客 1229

Robust Divergence Learning for Missing-Modality Segmentation缺失模态分割的鲁棒性散度学习

单模态并行处理:论文提出了一种基于3D U-Net的并行网络架构,将每个模态的数据独立输入到共享的主干网络中进行处理。这种方式保留了每个模态的独特信息,即使某些模态缺失,模型仍能利用可用模态进行分割。 动态共享框架:为了适应模态可用性的变化,引入了一个动态共享框架,根据输入模态的组合调整网络参数,使模型能够在不同缺失场景下灵活工作。 Hölder散度和互信息优化:提出了一种基于Hölder散度和互信息的损失函数,用于评估预测与标签之间的差异。Hölder散度因其灵活性和鲁棒性被选中,适用于复杂和非对称数据;

Qisadoor的博客 986

微信小程序 - 最新详细实现“全局实时监听页面发生跳转“ 当页面跳转后立即捕捉并触发某个操作或调用处理函数,小程序整个项目无时无刻只要路由发生变化改变了就能监听,时刻检测页面URL变化(获取路由数据)

微信小程序,vue2,vue3,监听路由,如何监听路由发生变化,如何watch监听路由,怎么全局监听页面发生变化,实现当页面路由发生变化时执行一个函数,当路由变化时执行一些操作执行一段代码,怎么监听路由变化时触发一个函数,监听页面变化,页面间的跳转如何监听,页面跳转时怎么拿到路由及参数,页面路由变化时拿到参数和url,使用watch监听路由变化,页面跳转后怎么触发事件,怎么监听页面跳转,监听页面跳转并拿到路由url路径,小程序怎么全局定义一个专门监听路由的函数,小程序怎么无时无刻实时监听路由页面跳转,监听当

🏆 前端领域优质创作者 4478

医图论文 ACM MM‘24 | PASSION:用于不均衡缺失率下有效不完全多模态医学图像分割的方法

受知识蒸馏(KD)的启发,其旨在通过软标签将教师的 “暗知识” 转移给学生,作者将多模态知识视为每个可用单模态的共同目标,以平衡模态间的学习。与以往基于KD的工作不同,那些工作依赖于基于PDT的单独完整多模态教师模型,作者更倾向于使用统一网络将多模态知识转移到单模态,称为多-单自蒸馏。实验验证,在多种骨干网络上引入PASSION后,在各种模态缺失率下均能实现性能提升,甚至在部分任务上超过完美数据训练(PDT)的效果,证明其具有良好的鲁棒性和灵活性。在本文研究的多模态分割中,所有模态共享一个共同标签,即。

小白学视觉 183

zemax 如何编译用户自定义DLL(含VS下载教程)

zemax 如何编译用户自定义DLL(含VS下载教程)

weixin_72050316的博客 495

Cadence virtuos安装教程

本文详细介绍了在Ubuntu 18.04系统上安装Cadence Virtuoso IC617及MMSIM的完整流程。主要内容包括:1)系统环境准备(安装JDK及相关依赖包);2)通过创建软链接和修改系统文件实现RedHat环境兼容;3)共享目录文件操作与分卷压缩包合并解压技巧;4)使用InstallScape工具的安装步骤详解,包括权限处理和配置选项。特别提醒需注意系统兼容性处理(如创建redhat-release文件)和分卷压缩包的特殊解压方法(cat合并)。整个安装过程涉及大量Linux命令操作,需特

wangjie36的博客 302

【缺失多模态】【论文翻译】Multi-modal Learning with Missing Modality via Shared-Specific Feature Modelling

多模态模型需要解决的模态缺失问题是关键的,但也不是微不足道的。目前旨在处理多模态任务中缺失模态问题的方法,要么仅在评估期间处理缺失模态,要么训练单独的模型来处理特定的缺失模态设置。此外,这些模型是为特定任务设计的,因此,例如,分类模型不容易适应分割任务,反之亦然。在本文中,我们提出了共享特定特征建模(ShaSpec)方法,该方法比解决上述问题的竞争方法更简单、更有效。ShaSpec旨在通过学习共享和特定的特征来更好地表示输入数据,从而在训练和评估期间利用所有可用的输入模态。

weixin_44184852的博客 4141

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

医学图像分割,Transformer+UNet的14种融合方法

在此框架内,Cross Transformer 模块采用可扩展采样来计算两种模态之间的结构关系,从而重塑一种模态的结构信息,以与 Swin Transformer 同一局部窗口内两种模态的相应结构保持一致。在编码器中,输入的MRI扫描X∈RC×H×W×D,具有C个通道(模态),H×W的空间分辨率和D个深度维度(切片),首先通过基于3D CNN的编码器生成局部特征图,捕获空间和深度信息。的融合方式,恰恰能充分发挥Transformer和UNet在医学图像分割方面的优势,弥补各自不足,产生显著的效果。

m0_73122726的博客 4039

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

上一篇: Mac电脑版微信双开秘籍:无需第三方工具,轻松实现多账号同时登录
下一篇: kettle实战进阶 第七十五课 ETL之kettle 巧用JavaScript脚本引擎,安全调用无证书HTTPS接口
寂静夜空35
博客等级 码龄3年 60粉丝 1797原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值