AI+医学图像只会越来越火……_knowledge-empowered dynamic graph network for irre-优快云博客

本文链接：https://blog.youkuaiyun.com/2401_82426425/article/details/145886988

AI+医学图像可以说是近来超级火爆、超级好出成果的方向！这不，光CVPR24、NeurIPS24上就有100多篇收录……

主要在于：一方面，其涉及的细分方向和场景非常多，比较容易做微创新；且大模型、Mamba等新技术的发展和运用，也给领域提供了丰富的选题来源。另一方面，其比较容易做学科交叉，为我们提供新机会。比如把医学图像与多模态数据（基因组学、电子病历……）进行整和，结合AI的蛋白质结构预测等技术，做药物研发等任务。更为特别的是，国家政策也在积极推动相关产学研的落地，算法优化等的需求旺盛。

为让大家能够紧跟领域前沿，想到更多idea启发，我给大家准备了32种前沿创新思路和源码，全部来自顶会！主要涵盖：多模态数据融合、大模型+医学、医学时间序列、自监督与预训练等热门……

论文原文+开源代码需要的同学看文末

Knowledge-Empowered Dynamic Graph Network for Irregularly Sampled Medical Time Series

内容：本文提出了一种名为KEDGN的图神经网络模型，旨在处理不规则采样的医学时间序列数据。KEDGN通过利用医学变量的文本知识，为每个变量提取语义表示，并构建变量之间的医学相关性图。该模型通过动态调整图结构以适应时间变化的变量相关性，并结合图卷积递归神经网络，同时捕捉变量内部和变量之间的依赖关系。实验结果表明，KEDGN在四个医疗数据集上显著优于现有方法。

ConDSeg: A General Medical Image Segmentation Framework via Contrast-Driven Feature Enhancement

内容：本文提出了一种医学图像分割框架，旨在解决医学图像中边界模糊和共现现象导致的分割挑战。利用前景和背景特征引导多尺度特征融合和关键特征增强，通过多尺度解码器分别预测不同大小的目标，避免共现特征的错误学习。实验表明，ConDSeg 在五个医学图像数据集上均取得了最先进的性能，证明了其在多种医学图像分割场景中的通用性和优越性。

KPL: Training-Free Medical Knowledge Mining of Vision-Language Models

内容：本文提出了一种名为Knowledge Proxy Learning 的无训练医学知识挖掘方法，旨在通过优化文本代理和多模态代理学习，提升视觉语言模型（如 CLIP）在医学图像分类中的零样本分类性能。KPL 首先利用大型语言模型（LLM）生成丰富的类别描述，构建知识增强基础（KEB），并通过视觉相关检索优化文本代理，减少类别与图像之间的语义歧义。随后，通过提出算法优化多模态代理，弥合视觉与文本模态之间的差距。实验表明，KPL 在多个医学和自然图像数据集上显著优于现有方法，为利用 CLIP 进行医学图像分类提供了一种新的有效范式。

HEALNet: Multimodal Fusion for Heterogeneous Biomedical Data

内容：本文提出了一种混合早期融合注意力学习网络，用于处理异构生物医学数据的多模态融合问题。HEALNet 结合了早期融合和中间融合的优点，通过共享和模态特定的参数空间并行迭代更新，保留了各模态的结构信息，并捕捉模态间的交互。该方法在四个癌症队列（包括全切片图像和多组学数据）的生存分析任务中实现了最先进的性能，显著优于单模态和现有的多模态基线模型，并在缺失模态的情况下表现出良好的鲁棒性。