论文阅读 Stepwise Feature Fusion: Local Guides Global

1，另一个ssfomer

我在找论文时发现，把自己的分割模型命名为ssformer的有两个：，一个论文SSformer: A Lightweight Transformer for Semantic Segmentation中提出的一种轻量级Transformer模型，结构如下

这个结构很简单，就是在用MLP层处理一下不同层的swin transformer block特征，然后融合。

这个没什么太多好说的。

2，我们要说的ssformer

我们要重点说的ssformer是Stepwise Feature Fusion: Local Guides Global这篇。

这篇论文的模型采用金字塔Transformer作为编码器，并提出了一种全新的解码器PLD。

整体结构如下：

3，编码器分支

编码器采用了PVTv2（Pyramid Vision Transformer v2）的设计，该设计在Segformer中也有所使用。PVTv2是一种用于图像识别任务的Transformer架构，它通过使用卷积操作来替代传统Transformer中的位置上的嵌入（PE）操作，以保持空间信息的一致性并提供出色的性能和稳定性。

4，解码器分支PLD

PLD的设计旨在解决Transformer模型在处理密集预测任务时可能出现的注意力分散问题，并强调局部特征以改善细节处理能力。

PLD由局部强调模块LE和渐进式特征聚合模块（SFA）组成。

LE模块使用卷积操作来混合每个补丁周围的特征，从而增加相邻补丁与中心补丁之间的关联权重，强调局部特征。由于不同深度的特征流具有不同类型的特征，LE模块在特征金字塔的不同层级上使用不同的卷积权重。

5，实验结果