论文：Pyramid Vision Transformer

Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions

金字塔视觉Transformer: 无卷积密集预测的通用主干

PVTv1：https://arxiv.org/abs/2102.12122
代码：https://github.com/whai362/PVT

PVTv2：https://arxiv.org/abs/2106.13797
代码：https://github.com/whai362/PVT

---

PVTv1 架构

密集预测任务的目标是对特征图进行像素级分类或回归。目标检测和语义分割是两种典型的密集预测任务。我们的目标是在Transformer中引入金字塔结构，以便为密集的预测任务生成多尺度特征图。与CNN backbones类似，PVTv1 有四个阶段，用于生成不同比例尺的特征图（特征金字塔）。每个阶段由块(Patch)嵌入层和LiTransformer编码器层组成。下面来看LiTransformer编码器的SRA。

---

特征金字塔（Transformer）

CNN骨干网使用卷积步幅获得多尺度特征图不同，PVT使用逐步缩小策略，通过块嵌入层来控制特征图的规模。

这里，我们用 $P_i$ 表示第 $i$ 阶段的块大小。在阶段i的开始，我们首先将输入的特征图$F_{i-1}\in {\mathbb{R}}^{H_{i-1}\times W_{i-1}\times C_{i-1}}$均匀划分为 H i − 1 W i − 1 P i 2 \frac{H_{i−1}W_{i−1} }{P^2_i} Pi2​Hi−1​W