SaTransformer：用于乳腺癌分类和分割的Semantic-aware Transformer

现有方法将分类和分割作为两个独立的任务来处理，忽略了分类和分割任务之间的潜在联系。SaTransformer支持通过一个统一的框架同时执行两个任务。与现有方法不同的是，分割和分类信息在语义上是交互的，在特征表示学习过程中相互促进，在消耗较少内存和计算复杂度的同时提高了特征表示学习的能力。

乳腺癌的准确分割和分类仍然面临着许多挑战。具体地说，1)乳腺癌边缘模糊，信噪比低，而且乳腺癌与背景和周围软组织的信号强度总是不均匀，这给乳腺癌的准确识别和检测带来了挑战。2)癌症本身的大小、形状和强度分布因患者而异，进一步增加了分割和分类的挑战。

基于CNN的乳腺肿瘤分割和分类方法仍然面临的挑战：

以往的工作将分割任务和分类任务视为两个独立的任务，缺乏两者之间的交互作用。根据我们的实验，建立两个任务之间的交互可能是进一步提高基于CNN的方法在乳腺肿瘤分割和分类中性能的有效途径

现有的完全基于CNN的模型缺乏建立各种特征空间之间的相关性和差异性的能力，以克服低信噪比、复杂的背景纹理和边界不清晰的挑战。

语义感知转换器（Semantic-aware Transformer）

建立每个像素之间的相关性，用于全局结构和内容信息的提取。

1. 利用乳腺癌的全局结构的内容信息
2. SaTransformer具有较少的内存和计算复杂度来提取全局信息的优势
3. SaTransformer可以很容易地扩展到其他任务

---

在SaTransformer中，用于分类和分割任务的语义特征相互加强，提高了特征表示学习的能力。

1. 新型SaTransformer网络能够建立分割和分类任务之间的交互，克服分割和分类任务缺乏信息交互的局限性
2. SaTransformer具有使用更少的内存和计算复杂性来提取全局信息的优势

 现有的方法主要集中在卷积滤波中，只接收感受野内的局部信息，缺乏建立各种特征空间之间的相