Multiscale Vision Transformers(MViT)

Multiscale Vision Transformers

多尺度视觉Transformer (MViT) 是一种新型的视觉识别模型，主要用于处理图像和视频。它结合了传统多尺度特征层次结构与Transformer模型的优势，旨在提高视频和图像的识别性能。

1. 多尺度视觉Transformer (MViT) 的概念

MViT的核心思想是在网络中引入多尺度特征金字塔，通过在不同阶段调整通道数量和空间分辨率来提取视觉信息。相比于传统的Vision Transformer (ViT)，MViT能够更好地适应密集的视觉信号，特别是在视频数据中。

MViT通过在早期层级以高空间分辨率处理简单的低级视觉信息，而在后期层级以低空间分辨率处理更复杂的高级特征，从而实现了分层的特征提取。

2. 结构概述

MViT的结构主要分为多个缩放阶段（Scale Stages），每个阶段由若干Transformer块组成。在每个阶段中，通道数量增加，空间分辨率减少，逐步形成特征金字塔。整个网络的输入通常是一个视频帧序列或图像，最终输出用于视觉识别的高层语义特征。

2.1 输入和特征提取

• 输入层：模型首先接收输入图像或视频帧序列。MViT从高分辨率且通道数较少的输入数据开始处理。在视频识别任务中，输入通常包括时间维度。