SAM-Lightening: Lightweight Segment Anything Model with Dilated Flash Attention

SAM-Lightening: Lightweight Segment Anything Model with Dilated Flash Attention
PDF: https://arxiv.org/pdf/2403.09195.pdf
代码：https://anonymous.4open.science/r/SAM-LIGHTENING-BC25

通过将自注意力操作符蒸馏成具有动态层次蒸馏的Dilated Flash Attention，SAM-Lightening在图像上完成推理平均每张仅需7ms，实现了比SAM-ViT-H快30.1倍的速度提升。

1 概述

SAM-Lightening通过引入一种高效、轻量级的模型，实现了图像分割的革命性突破，该模型与 SAM 相比，处理速度提高了30倍。该模型采用新的Dilated Flash Attention机制，能够实现快速推理和最小化内存使用，非常适用于实时环境和资源受限设备的应用。

本文的主要贡献在于以下四个方面：

• 首先，创新性地引入了一种新型的SAM结构——SAM-Lightening，通过精简设计ÿ