15、基于 4D 卷积 Swin 变换器的成本聚合在少样本分割中的应用

基于 4D 卷积 Swin 变换器的成本聚合在少样本分割中的应用

1. 引言

在语义匹配和少样本分割领域，利用多级特征能够显著提升性能。基于此，我们采用了金字塔架构，并提出了引导金字塔处理（Guided Pyramidal Processing，GPP）方法，同时设计了亲和感知变换器解码器（Affinity-aware Transformer Decoder，ATD），以实现高效的少样本分割。

2. 方法介绍

2.1 引导金字塔处理（GPP）

在粗到细的处理方法中，GPP 通过前一（较粗）层级的聚合相关图 $A_{p + 1}$ 来引导更细层级相关图 $A_p$ 的聚合。具体来说，将聚合相关图 $A_{p + 1}$ 上采样为 $up(A_{p + 1})$，并将其添加到下一层级的相关图 $A_p$ 中作为引导。这个过程会一直重复，直到计算出最细层级的聚合图并传递给解码器。金字塔变换器编码器最终定义为：
$A_p = VTM(VCM(C_p) + up(A_{p + 1}))$
其中，$up(·)$ 表示双线性上采样。

以下是 GPP 流程的 mermaid 流程图：

graph TD;
    A[较粗层级聚合相关图 $A_{p + 1}$] --> B[上采样为 $up(A_{p + 1})$];
    C[下一层级相关图 $A_p$] --> D[与 $up(A_{p + 1})$ 相加];
    B --> D;
    D --> E[得到引导后的相关图];
    E --> F{是否