5.14.10 使用 Swin Transformers 集合对组织病理学图像中的乳腺癌进行多类分类

本文链接：https://blog.youkuaiyun.com/qq_47896523/article/details/139096671

乳腺癌的非侵入性诊断程序涉及体检和成像技术，例如乳房 X 光检查、超声检查和磁共振成像 [3,4]。然而，体外检查可能无法及早发现它，并且影像学检查对于更全面地评估癌变区域和识别癌症亚型的敏感性较低[5,6]。通过乳腺活检进行的组织病理学成像，即使是微创的，也可以准确识别癌症亚型并精确定位病变[7]。

CNN 表现出固有的归纳偏差，并且会随着图像中感兴趣对象的平移、旋转和位置而变化。

因此，在训练 CNN 模型时通常会应用图像增强，尽管数据增强可能无法在训练集中提供预期的变化。因此，基于自注意力的深度学习模型对图像中感兴趣对象的方向和位置更加鲁棒。

Vision Transformer（ViT）采用Transformer来处理图像。用于分类任务的 ViT 实现了全局自注意力，其中计算图像块和所有其他块之间的关联。这种全局量化会导致补丁数量的二次计算复杂性，使其不太适合处理高分辨率图像。

swin Transformer 的 ViT 变体，可以在移动窗口上工作并提供可变的图像块分辨率。为了高效建模，提出并计算了局部窗口内的自注意力，为了均匀划分图像，窗口以不重叠的方式排列。基于窗口的自注意力具有线性复杂度并且可扩展。然而，基于窗口的自注意力的建模能力有限，因为它缺乏跨窗口的连接。

因此，提出了一种移位窗口分区方法，该方法在连续的 swin Transformer 块中的分区配置之间交替，以允许跨窗口连接，同时保持非重叠窗口的高效计算。swin Transformer 中的移位窗口方案通过将自注意力计算限制在非重叠的局部窗口上，同时促进跨窗口连接，从而提高了效率。