【论文阅读】Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model

Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model

研究动机

状态空间模型（SSMs）在长序列建模方面展现出了巨大潜力，如Mamba。然而，将SSMs应用于视觉数据表示存在挑战，因为视觉数据对位置敏感，且需要全局上下文以理解视觉信息。

本文贡献

1. 提出Vision Mamba (Vim) 模型：作者提出了一个新颖的通用视觉模型，称为Vision Mamba（简称Vim），它利用双向状态空间模型（SSM）来实现数据依赖的全局视觉上下文建模，并使用位置嵌入来实现位置感知的视觉识别。

2. 效率与性能的平衡：Vim在保持与视觉Transformer（如DeiT）相同或更好的建模能力的同时，显著降低了计算复杂度和内存使用。具体来说，Vim在处理1248×1248分辨率的图像时，比DeiT快2.8倍，并且节省了86.8%的GPU内存。

3. 广泛的实验验证：作者在ImageNet分类、COCO目标检测和ADE20k语义分割等任务上对Vim进行了广泛的实验，结果表明Vim在这些任务上的性能均优于或至少可与现有的视觉Transformer模型相媲美。

研