21 HRFormer：High-Resolution Transformer for Dense Prediction

 1 背景

ViT 的提出让人们看到了 Transformer 在 图像分类任务上的潜力，紧随其后还有很多相关的改进，如知识蒸馏、更深的网络结构、引入卷积等方法，但 ViT 及其类似的方法都缺失了局部空间的信息，难以用于密集预测。还有一些方法聚焦在了使用 Transformer 来实现分割、检测等密集预测任务。

2 动机

由于 ViT 等方法使用 16x16 作为输入 patch 的大小，且网络是单个分辨率的，缺失了处理多尺度目标的能力，所以作者提出了一个 High-Resolution Transformer (HRFormer)，来提出丰富的空间信息并且为密集预测提供多分辨率的特征表达。

3 方法

HRFormer 的结构类似于 HRNet，其结构如图 1，图 1 的左半部分表示了 local-window self-attention 如何更新 2D 输入表达，每个 window 内部的 attention 是独立进行的：

• 首先，在 stem 和第一个 stage 都使用了卷积，类似于 [11,49]，它们也证明了在浅层使用卷积的效果是比较好的
• 接着，通过并行的使用 medium 和 low resolution 的 streams 来加强高分辨率 stream，从而提升高分辨率特征的表达。使用多分辨率特征后，HRFormer 能够进行多尺度的建模。
• 最后，HRFormer 通过 multi-scale fusion module 进行了 multi-