【论文阅读笔记】Multi-Modal Learning With Missing Modality via Shared-Specific Feature Modelling

最新推荐文章于 2024-11-26 19:40:23 发布

寸先生的牛马庄园

最新推荐文章于 2024-11-26 19:40:23 发布

阅读量3.2k

点赞数 21

分类专栏：医学图像分割缺失模态 MRI分割文章标签：论文阅读笔记

本文链接：https://blog.youkuaiyun.com/cskywit/article/details/135333377

版权

本文提出了一种名为ShaSpec的方法，通过共享和特定特征建模来处理多模态学习中的缺失模态问题。在BraTS2018数据集上的实验显示，ShaSpec在医学图像分割和分类任务中表现出色，特别是在处理缺失模态时提高了精度。方法通过辅助任务和创新的残差融合机制提高模型性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Wang H, Chen Y, Ma C, et al. Multi-Modal Learning With Missing Modality via Shared-Specific Feature Modelling[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023: 15878-15887.

【论文概述】

本文的核心思想是提出一种名为“共享-特定特征建模（ShaSpec）”的方法，用于处理多模态学习中的缺失模态问题。该方法在训练和评估期间利用所有可用的输入模态，通过学习共享和特定的特征来更好地表示输入数据。这是通过基于分布对齐和领域分类的辅助任务以及残差特征融合过程来实现的。ShaSpec的设计简单，易于适应多种任务，如分类和分割。实验结果表明，ShaSpec在医学图像分割和计算机视觉分类方面的表现优于竞争方法。例如，在BraTS2018数据集上，ShaSpec在增强肿瘤、肿瘤核心和整体肿瘤的分割精度上均有显著提高(ShaSpec在增强肿瘤的分割上提高了3%，在肿瘤核心上提高了5%，在整体肿瘤上提高了3%)。这项研究表明，ShaSpec通过其简单但有效的架构，在处理多模态学习中的缺失模态问题时，能够提供显著的性能提升。

本文整体结构简单，通过两个辅助任务，性能超越复杂模型，在缺失模态处理中算是一股清流，这可能也是中标CVPR2023的原因。

【提出的方法】

图1展示了ShaSpec方法在完整模态（full-modality）训练和评估的流程。这个流程包含了多个关键组成部分：