超越自注意力：用于医学图像分割的可变形大核注意力

摘要

医学图像分割在采用transformer模型方面取得了显着的改进，这些模型在掌握深远上下文和全局上下文信息方面表现出色。然而，这些模型的计算需求不断增加，与token数量的平方成正比，限制了它们的深度和分辨率能力。当前大多数方法都是将D体积图像数据处理为逐层（称为伪3D），这会丢失关键的层间信息，从而降低模型的总体性能。为了解决这些挑战，我们引入了可变形大核注意力（D-LKA Attention）的概念，这是一种采用大卷积核的简化注意力机制，用于充分理解体积上下文。该机制在类似于自注意力的感受野内运行，同时避免了计算开销。此外，我们提出的注意力机制得益于可变形卷积，可以灵活地扭曲采样网格，使模型能够适当地适应不同的数据模式。我们设计了D-LKA Attention的2D和3D版本，其中后者在跨深度数据理解方面表现出色。这些组件共同构成了我们新的层次化Vision Transformer架构，即D-LKA Net。在流行医学分割数据集（Synapse、NIH Pancreas和Skin lesion）上对模型进行评估证明了其卓越的性能。我们的代码实现在https://github.com/mindflow-institue/deformableLKA上公开可用。

1、简介

医学图像分割在计算机辅助诊断中起着至关重要的作用，它可以帮助医学专业人员分析复杂的医学图像。这个过程不仅减少了手动任务的繁琐程度和对医学专业知识的依赖，还能实现更快更准确的诊断。自动分割提供了更快更准确的诊断结果的可能性，从而促进了适当的治疗策略的实施，并使得图像引导手术程序得以实现。因此，开发快速且精确的分割算法的必要性成为推动这一研究的