51、MDViT：用于小医学图像分割数据集的多领域视觉Transformer

MDViT：用于小医学图像分割数据集的多领域视觉Transformer

1. 引言

医学图像分割（MIS）是医学图像分析的关键部分，其目的是将图像划分为语义相关和/或视觉相似的不同区域。这一过程对于临床医生进行各种解剖结构或病理状况的定性和定量评估，以及进行图像引导治疗或治疗规划至关重要。

视觉Transformer（ViTs）由于其固有的建模长距离依赖关系的能力，最近被认为是解决MIS的一种有前途的技术。与传统的卷积神经网络（CNNs）相比，ViTs在许多分割任务上能够实现更好的分割性能。然而，由于缺乏归纳偏置（如权重共享和局部性），ViTs比CNNs更需要大量数据进行训练。

在实际应用中，对于同一MIS任务，通常可以获取多个不同但规模较小的数据集。但每个数据集单独使用时，都不足以训练一个ViT模型。因此，如何有效地利用这些不同的数据集成为了一个挑战。

为了解决ViTs的数据饥饿问题，已经提出了各种策略，主要包括：
- 构建混合网络，将CNN与ViT融合，模仿CNN的移位滤波器和卷积操作，或增强空间信息学习来添加归纳偏置。
- 通过从CNN转移知识或在多个相关任务上训练ViT，然后在下游任务上进行微调来共享知识。
- 通过数据增强增加数据量。
- 进行无监督预训练。

然而，这些方法的一个显著局限性是它们不是通用的，它们依赖于为每个数据集单独训练，而不是整合来自相关领域的有价值知识。因此，在处理多个小数据集时，会产生额外的训练、推理和内存成本。

多领域学习可以训练一个单一的通用模型来同时处理所有数据集，从而减少计算需求，同时利用多个领域的信息。但目前，多领域通用模型尚未被用于缓解V