用于手臂肌肉骨骼超声分割的面向混合结构的 Transformer

Hybrid-Structure-Oriented Transformer for Arm Musculoskeletal Ultrasound Segmentation

摘要

背景： 分割复杂的层结构，包括皮下脂肪、骨骼肌和手臂肌肉骨骼超声 （MSKUS） 中的骨骼，对于诊断和监测乳腺癌相关淋巴水肿 （BCRL） 的进展至关重要。然而，以前的研究主要集中在 MSKUS 中的单个肌肉或骨骼分割上，而忽略了表征这些结构的复杂和混合层形态。
目的： 提出了一种称为混合面向结构的 Transformer （HSformer） 的新方法，它可以有效地捕获 MSKUS 中具有不同形态的分层结构。
方法： HSformer 结合了分层一致性相对位置编码和用于分层结构注意力的结构偏置约束
结果： 在手臂 MSKUS 数据集上的实验表明，HSformer 在分割皮下脂肪、骨骼肌和骨骼方面实现了最先进的性能。
代码地址

方法

1. 一个混合的面向结构的 Transformer 模块，用于提取上下文特征：沿垂直方向对几何结构进行编码，并在局部窗口中使用水平条带来获得注意力

2. 结构偏差：
   2D 臂 MSKUS 平面投影到球体图像上，每个像素位置用 （θ， φ， ρ） 表示，其中 θ ∈ （0， 2π）， φ ∈ （0， π）， ρ = 1。在图 3 中，L 点和 R 点都位于肌肉层内，以浅黄色区域为特征。尽管它们在 MSKUS 中在空间上相当分开，但由于潜在的结构层次结构，它们的注意力权重必须保持一致。在球体图像中，L 和 R 之间的距离明显变窄，从而加强了权重的一致性。
   

3. 分层一致性位置嵌入 （HCPE）
   
   对每个垂直和水平局部窗口内的元素施加结构形态偏差。

4. 结构偏向约束 （SBC）：首先在球体上选择一个空间基准点，最终将基准点和转换点之间的距离计算为注意力权重

损失函数：dice和交叉熵损失

实验结果