还在为找创新点发愁?非常推荐大家关注这个顶会新风向:基于交叉注意力机制做医学图像分割!
它融合了多模态数据交互与动态特征加权两大优势,既能通过跨模态对齐提升病灶分割精度,又能快速聚焦关键信息,提高分割效率!比如模型DVPT便通过该方法实现了参数直降99%的效果;模型DeSAM则性能狂提49.05%!
目前热门的思路主要有:设计跨模态交叉注意力模块,动态对齐不同模态的特征图;设计稀疏交叉注意力机制;设计低秩分解的交叉注意力模块……为方便大家紧跟领域前沿,掌握领域的主流研究思路,我给大家准备了15篇必读论文,原文和源码都有!
论文原文+开源代码需要的同学看文末
PGP-SAM: Prototype-Guided Prompt Learning for Efficient Few-Shot Medical Image Segmentation
内容:文章介绍了一种名为PGP-SAM)的方法,旨在解决在少量标注数据下如何高效地将Segment Anything Model(SAM)应用于医学图像分割的问题。PGP-SAM通过引入基于原型的提示学习,利用类内原型和类间原型捕捉类别特定的知识和关系,并设计了上下文特征调制模块和类别引导的交叉注意力机制,以自动生成准确的提示,从而在仅使用10%的2D切片数据的情况下,实现了比现有无提示SAM变体更高的Dice分数,展示了在医学图像分割中的有效性和潜力。
DVPT: Dynamic Visual Prompt Tuning of Large Pre-trained Models for Medical Image Analysis
内容:文章提出了一种名为 DVPT的动态视觉提示调整方法,用于在医学图像分析中高效地微调大型预训练模型。该方法通过引入少量可训练的动态视觉提示,与预训练模型的特征进行交叉注意力交互,从而提取对下游医学任务有益的样本特定和领域特定的知识。DVPT 仅需微调少量参数,显著减少了计算成本和存储开销,同时在医学图像分类和分割任务中实现了与全参数微调相当甚至更优的性能。此外,该方法还表现出数据效率,仅使用 40% 的标注数据即可达到全数据微调的性能水平。
Multimodal Information Interaction for Medical Image Segmentation
内容:文章提出了一种名为 MicFormer的新型多模态医学图像分割网络。该方法通过双流架构同时提取每种模态的特征,并利用Cross Transformer实现不同模态特征之间的有效交互。此外,文章引入了可变形变换器架构来扩展搜索空间,以更好地匹配多模态图像特征。在 MM-WHS 数据集的 CT-MRI 多模态图像分割任务中,MicFormer 的全心分割 DICE 分数达到 85.57,MIoU 达到 75.51,显著优于其他多模态分割技术。该方法在整合不同模态之间的相关信息方面表现出色,具有广泛应用于多模态图像任务的潜力。
SynergyNet: Bridging the Gap between Discrete and Continuous Representations for Precise Medical Image Segmentation
内容:一种新型的医学图像分割网络架构,旨在通过整合离散和连续的潜在空间表示来提高分割精度。该方法通过创新的瓶颈架构设计,将离散潜在空间(DLS)和连续潜在空间(CLS)模型的优势相结合,利用离散表示的可解释性和鲁棒性,以及连续表示对细节的捕捉能力,从而在多器官分割、心脏分割、皮肤病变分割和脑肿瘤分割等多个数据集上实现了显著的性能提升
码字不易,欢迎大家点赞评论收藏!
关注下方《AI科研技术派》
回复【交叉医学】获取完整论文
👇